Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

NoWag: Un marco unificado para la compresión con preservación de la forma de modelos de lenguaje grandes

Created by
  • Haebom

Autor

Lawrence Liu, Inesh Chakrabarti, Yixiao Li, Mengdi Wang, Tuo Zhao, Lin F. Yang

Describir

Para abordar los desafíos de implementar modelos de lenguaje a gran escala (LLM) en entornos con recursos limitados, este artículo propone NoWag (Normalized Weight and Activation Guided Compression), un algoritmo de compresión unificado de un solo uso con preservación de forma. NoWag comprime los modelos Llama-2 (7B, 13B, 70B) y Llama-3 (8B, 70B) mediante dos técnicas de preservación de forma: cuantificación vectorial (NoWag-VQ) y poda no estructurada/semiestructurada (NoWag-P). Los resultados experimentales demuestran que NoWag-VQ supera significativamente a los métodos de cuantificación vectorial de un solo uso más avanzados, y que NoWag-P compite con las técnicas de poda líderes. Esto destaca los puntos en común entre ambos paradigmas de compresión y sugiere prometedoras líneas de investigación para el futuro. El código fuente está disponible en GitHub.

Takeaways, Limitations

•
Takeaways:
◦
NoWag mejora la eficiencia de la compresión LLM al integrar técnicas de poda y cuantificación vectorial.
◦
NoWag-VQ supera las técnicas de cuantificación vectorial de un solo disparo de última generación existentes.
◦
NoWag-P ha demostrado un rendimiento competitivo con las principales técnicas de poda existentes.
◦
Al revelar puntos en común entre los dos paradigmas de compresión, sugerimos direcciones de investigación futuras.
•
Limitations:
◦
Los resultados experimentales presentados en este artículo se limitan a LLM específicos (Llama-2, Llama-3) y se necesitan más estudios para determinar su generalización.
◦
Las mejoras de rendimiento de NoWag pueden depender de configuraciones de hiperparámetros específicos y requerir más experimentación con diferentes configuraciones.
◦
Se necesita más investigación para evaluar el rendimiento de NoWag en entornos de implementación del mundo real.
👍
Made with Slashpage