Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Optimización automática de indicaciones para la construcción de gráficos de conocimiento: perspectivas de un estudio empírico

Created by
  • Haebom

Autor

Nandana Mihindukulasooriya, Niharika S. D'Souza, Faisal Chowdhury, Horst Samulowitz

Describir

Este artículo presenta un estudio experimental que aplica una técnica de optimización automática de indicaciones en lugar de la escritura manual de indicaciones en la construcción de grafos de conocimiento (KG) mediante un modelo de lenguaje a gran escala (LLM). Nos centramos en la tarea fundamental de extraer 3-tuplas (sujeto-relación-objeto) del texto y comparamos el rendimiento de tres técnicas de optimización automática de indicaciones (DSPy, APE y TextGrad) en diversas configuraciones (estrategia de indicaciones, modelo LLM, complejidad del esquema, longitud y diversidad del texto de entrada, índice de optimización y conjunto de datos) utilizando dos conjuntos de datos: SynthIE y REBEL. Los resultados experimentales muestran que la técnica de optimización automática de indicaciones alcanza un rendimiento similar al de las indicaciones escritas por humanos, y que la mejora del rendimiento se acentúa a medida que aumentan la complejidad del esquema y la longitud del texto.

Takeaways, Limitations

Takeaways:
Demostramos empíricamente que la eficiencia de la construcción de gráficos de conocimiento utilizando LLM se puede mejorar mediante una técnica de optimización automática.
El efecto de la optimización automática de las indicaciones se vuelve más significativo a medida que aumentan la complejidad del esquema y la longitud del texto.
Presenta la posibilidad de reducir el esfuerzo y el coste de escribir los prompts manualmente.
Limitations:
Estos resultados experimentales se limitan a una técnica específica de optimización automatizada de indicaciones y a un conjunto de datos LLM. Se requiere más investigación para determinar su generalización en diversos entornos.
Es posible que se necesiten investigaciones adicionales para mejorar el rendimiento de la técnica de optimización automática de indicaciones.
Se necesita una validación adicional para garantizar su aplicabilidad a varios tipos de relaciones y estructuras de oraciones complejas.
👍