Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

AU-Harness: Un kit de herramientas de código abierto para la evaluación integral de LLM de audio

Created by
  • Haebom

Autor

Sidharth Surapaneni, Hoang Nguyen, Jash Mehta, Aman Tiwari, Oluwanifemi Bamgbose, Akshay Kalkunte, Sai Rajeswar, Sathwik Tejaswi Madhusudhan

Describir

Este artículo presenta AU-Harness, un marco de evaluación eficiente y completo para abordar los desafíos de la evaluación de modelos de lenguaje de audio a gran escala (LALM). Al abordar tres desafíos principales de los marcos existentes (velocidad de procesamiento lenta, indicaciones inconsistentes y alcance limitado de la tarea), AU-Harness acelera el modelo hasta en un 127 % mediante el procesamiento por lotes optimizado y la ejecución en paralelo, a la vez que proporciona un protocolo de indicaciones estandarizado y una configuración flexible. Además, introduce dos nuevas categorías de evaluación (LLM-Diarización Adaptativa para la comprensión temporal de audio y Razonamiento del Lenguaje Hablado para tareas cognitivas complejas basadas en audio) y las evalúa en más de 380 tareas. Esta evaluación revela las deficiencias de los LALM en la comprensión temporal y la comprensión compleja del lenguaje hablado, así como la falta de métodos de instrucción estandarizados. AU-Harness promueve el desarrollo sistemático de los LALM al proporcionar herramientas prácticas de evaluación y conocimiento sobre las limitaciones del modelo.

Takeaways, Limitations

•
Takeaways:
◦
Abordar problemas de velocidad y eficiencia con las herramientas de evaluación LALM existentes.
◦
Proporcionar procedimientos estandarizados de solicitud y evaluación para permitir comparaciones justas entre modelos.
◦
Se presenta una nueva categoría de evaluación para evaluar la comprensión auditiva temporal y las habilidades de razonamiento verbal complejo.
◦
Presentar el estado actual y las limitaciones de la comprensión temporal y las habilidades de razonamiento verbal complejo de LALM.
◦
Identificar el impacto de la falta de estandarización de los métodos de instrucción en el desempeño
•
Limitations:
◦
Las mejoras de rendimiento en AU-Harness pueden depender de entornos o hardware específicos.
◦
Es posible que las nuevas categorías de evaluación no abarquen plenamente todas las capacidades de LALM.
◦
El Limitations presentado necesita ser analizado más a profundidad a través de investigaciones adicionales.
👍
Made with Slashpage