Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Desmitificando cadenas, árboles y gráficos de pensamientos

Created by
  • Haebom

Autor

Maciej Besta, Florim Memedi, Zhenyu Zhang, Robert Gerstenberger, Guangyuan Piao, Nils Blach, Piotr Nyczyk, Marcin Copik, Grzegorz Kwasniewski , Jürgen Müller , Lukas Gianinazzi, Ales Kubicek, Hubert Niewiadomski, Aidan O'Mahony, Onur Mutlu, Torsten Hoefler

Describir

Este artículo explora cómo mejorar el rendimiento de inferencia de modelos de lenguaje a gran escala (LLM) mediante ingeniería de prompts estructurados. Analizamos diseños de prompts estructurados, incluyendo Cadena de Pensamiento, Árbol de Pensamiento y Grafo de Pensamiento, y presentamos un plan general para sistemas de inferencia LLM efectivos y eficientes. Mediante un análisis profundo del flujo de ejecución de prompts, aclaramos los conceptos y establecemos la primera taxonomía de sistemas de inferencia LLM basados ​​en estructuras. Definimos la estructura empleada como "topología de inferencia" y analizamos su representación, algoritmo, rendimiento y patrones de costo para comparar los enfoques de prompts existentes. Además, presentamos los fundamentos teóricos, su relación con las bases de conocimiento y los desafíos de investigación relacionados, con el objetivo de contribuir al avance de la tecnología de ingeniería de prompts en el futuro.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos un plan general y una taxonomía para la ingeniería de indicaciones estructuradas y sugerimos direcciones para futuras investigaciones.
◦
Comparamos y analizamos el rendimiento y el costo de varias técnicas de estímulo estructurado para brindar orientación para seleccionar el diseño óptimo.
◦
Contribuye al avance de la tecnología de ingeniería rápida al proporcionar una comprensión profunda del proceso de razonamiento LLM.
◦
Teniendo en cuenta la conexión con la base de conocimientos, sugerimos direcciones para mejorar aún más la capacidad de razonamiento del LLM.
•
Limitations:
◦
Es necesaria una mayor validación de la exhaustividad y generalización del esquema de clasificación propuesto.
◦
Es posible que falten análisis experimentales sobre diversas arquitecturas y conjuntos de datos LLM.
◦
Se necesita más investigación para determinar la aplicabilidad práctica y la escalabilidad del modelo presentado.
◦
Se necesitan más investigaciones para sacar conclusiones sobre la superioridad de cualquier técnica particular de estímulo estructurado.
👍
Made with Slashpage