Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

ACING: Actor-Crítico para el Aprendizaje Instruccional en LLM de Caja Negra

Created by
  • Haebom

Autor

Salma Kharrat, Fares Fourati, Marco Canini

Describir

Este artículo presenta ACING, una técnica automatizada de optimización de indicaciones para mejorar el rendimiento de modelos lingüísticos a gran escala (LLM). ACING, un marco basado en aprendizaje por refuerzo que funciona incluso en entornos de caja negra donde los parámetros y gradientes del LLM son inaccesibles, formula la optimización de indicaciones como un problema de acción continua sin estado, que explora un espacio infinito de indicaciones. Los resultados experimentales muestran que ACING genera indicaciones que superan a las generadas por humanos en un 76 % del tiempo en diversas tareas (inducción de instrucciones, resumen e inferencia de la cadena de pensamiento), alcanzando hasta 33 puntos y una mejora media del rendimiento de 10 puntos con respecto al mejor modelo de referencia automatizado. Amplios experimentos adicionales confirman la robustez y eficiencia de ACING. El código fuente está disponible en GitHub.

Takeaways, Limitations

Takeaways:
Se presenta una técnica eficaz de optimización rápida para LLM de caja negra.
Demostrar la viabilidad de generar automáticamente indicaciones que superen las generadas por humanos.
Presentar un marco general aplicable a una variedad de tareas de LLM.
Mayor reproducibilidad y usabilidad mediante la divulgación del código fuente de ACING.
Limitations:
Es necesario verificar el rendimiento de generalización para LLM y tareas específicas.
Se necesita un análisis más profundo del costo computacional y el tiempo de entrenamiento de ACING.
Se necesitan más investigaciones sobre la aplicabilidad y las diferencias de rendimiento de los distintos tipos de LLM de caja negra.
👍