[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Análisis del espectro propio de redes neuronales sin sesgo de relación de aspecto

Created by
  • Haebom

Autor

Yuanzhe Hu, Kinshuk Goel, Vlad Killiakov, Yaoqing Yang

Describir

Este artículo aborda el efecto de la relación de aspecto de la matriz de pesos en la medición de la densidad de colas en el diagnóstico de redes neuronales profundas (DNN) mediante el análisis eigenespectral de la matriz de pesos. Los métodos existentes presentan el problema de que se produce un sesgo en la medición de la densidad de colas en matrices con diferentes relaciones de aspecto. En este artículo, proponemos una técnica de submuestreo de matriz de relación de aspecto fija (FARMS) que mide la ESD promedio mediante el muestreo de una submatriz con una relación de aspecto fija. Se ha demostrado que FARMS mejora la precisión del análisis eigenespectral y realiza eficazmente el ajuste de hiperparámetros capa por capa en diversos campos, como la visión artificial, el aprendizaje automático científico y los modelos lingüísticos a gran escala. En particular, en los experimentos de poda en el modelo LLaMA-7B, logra una reducción de la perplejidad del 17,3 % en comparación con el método de vanguardia existente.

Takeaways, Limitations

Takeaways:
Aclaramos el impacto de la relación de aspecto de las matrices de peso DNN en la precisión del análisis espectral propio.
Propuesta de la técnica FARMS para aliviar eficazmente el sesgo de relación de aspecto.
Validación de la utilidad de FARMS en diversos campos, incluida la visión artificial, el aprendizaje automático científico y los modelos de lenguaje a gran escala.
Mejora significativa del rendimiento respecto del estado del arte anterior en poda LLM.
Limitations:
La eficacia de FARMS se ha verificado experimentalmente, pero falta un análisis teórico.
Se necesitan más investigaciones para determinar si una relación de aspecto particular es óptima en todos los casos.
Se necesita más investigación sobre la generalización a varias estructuras de DNN y métodos de aprendizaje.
👍