Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

AutoPDL: Optimización automática de mensajes para agentes LLM

Created by
  • Haebom

Autor

Claudio Spiess, Mandana Vaziri, Louis Mandel, Martin Hirzel

Describir

Este artículo propone AutoPDL, una técnica automatizada de optimización de indicaciones para mejorar el rendimiento de los modelos de lenguaje a gran escala (LLM). AutoPDL define el problema de combinar diversos patrones de indicaciones (p. ej., Zero-Shot, CoT, ReAct, ReWOO) con contenido de indicaciones, incluyendo varios ejemplos, como un problema de AutoML estructurado. Encuentra eficientemente configuraciones óptimas de indicaciones mediante la técnica de Reducción Sucesiva a la Mitad. Aprovechando una biblioteca de patrones de indicaciones implementados con el lenguaje de programación de indicaciones PDL, AutoPDL genera programas PDL legibles, editables y ejecutables. Los resultados de la evaluación en tres tareas y siete LLM (que abarcan desde 3000 millones hasta 70 000 millones de parámetros) demuestran una mejora promedio en la precisión de 9,21±15,46 puntos porcentuales (hasta 67,5 puntos porcentuales). La estrategia de indicaciones seleccionada varía según los modelos y las tareas.

Takeaways, Limitations

Takeaways:
La automatización de ingeniería rápida de LLM demuestra cómo ahorrar tiempo y esfuerzo y lograr un mejor rendimiento que los métodos manuales.
La programación de indicaciones mediante PDL permite la creación de indicaciones reutilizables que son fáciles de entender y modificar para los humanos.
Presentamos una metodología general de optimización de indicaciones aplicable a una variedad de LLM y tareas.
Demostramos experimentalmente que la estrategia de estímulo óptima varía según el modelo y la tarea.
Limitations:
La eficacia de la técnica de reducción sucesiva a la mitad puede variar según el tamaño del espacio de búsqueda. En espacios de búsqueda muy grandes, es posible que no se encuentre la indicación óptima.
Debido a que los tipos de LLM y tareas utilizados en la evaluación fueron limitados, se necesita más investigación para determinar la generalización a otros LLM o tareas.
Puede ser necesario aprender sobre el lenguaje de programación PDL.
👍