Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Torneo de indicaciones: Desarrollo de las instrucciones LLM mediante debates estructurados y clasificaciones ELO

Created by
  • Haebom

Autor

Anirudh Nair, Adi Banerjee, Laurent Mombaerts, Matthew Hagen, Tarik Borogovac

Describir

Este artículo aborda el reto de la ingeniería de prompts para maximizar el potencial de los modelos lingüísticos a gran escala (LLM), especialmente en tareas que requieren evaluaciones subjetivas de calidad, donde es difícil definir objetivos de optimización explícitos. Si bien los métodos actuales de optimización automática de prompts no son eficaces para estos problemas, en este artículo presentamos DEEVO, un novedoso marco de optimización de prompts que aprovecha la evaluación basada en discusión y la selección basada en Elo. DEEVO explora el espacio discreto de prompts manteniendo la consistencia semántica mediante operaciones inteligentes de cruce y mutación estratégica. Simultáneamente, busca la mejora y la diversidad de prompts utilizando las calificaciones Elo como métrica de relevancia, y supera a los métodos existentes en problemas abiertos y cerrados sin retroalimentación de respuestas correctas. Al combinar las capacidades de inferencia de los LLM con la optimización adaptativa, contribuye a la mejora continua de los sistemas de IA sin una métrica predefinida.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos un método novedoso para resolver eficazmente problemas de optimización solicitados para tareas complejas que requieren una evaluación subjetiva de la calidad.
◦
Aumente la usabilidad optimizando de manera eficaz las indicaciones sin comentarios de respuestas correctas.
◦
Aprovechar las capacidades de inferencia de LLM para sugerir posibilidades de mejora continua de los sistemas de IA.
◦
Superar las limitaciones de los métodos de optimización automática de indicaciones existentes.
•
Limitations:
◦
Existe la posibilidad de que el rendimiento de DEEVO dependa de ciertos tipos de tareas o LLM.
◦
Debido a las limitaciones de los métodos de evaluación basados en Elo, no hay garantía de que siempre se encuentre la indicación óptima.
◦
Se necesita una mayor validación de la generalización mediante experimentos a gran escala.
◦
La falta de una descripción detallada de los mecanismos específicos de la evaluación basada en la discusión puede dificultar la garantía de la reproducibilidad.
👍
Made with Slashpage