Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Optimisation automatique des invites pour la construction de graphes de connaissances : enseignements tirés d'une étude empirique

작성자
  • Haebom

Auteur

Nandana Mihindukulasooriya, Niharika S. D'Souza, Faisal Chowdhury, Horst Samulowitz

Contour

Cet article présente une étude expérimentale appliquant une technique d'optimisation automatique des invites au lieu de leur écriture manuelle dans la construction d'un graphe de connaissances (KG) à l'aide d'un modèle de langage à grande échelle (LLM). Nous nous concentrons sur la tâche fondamentale d'extraction de 3-uplets (sujet-relation-objet) à partir d'un texte et comparons les performances de trois techniques d'optimisation automatique des invites (DSPy, APE et TextGrad) dans différents contextes (stratégie d'invite, modèle LLM, complexité du schéma, longueur et diversité du texte d'entrée, indice d'optimisation et jeu de données) à l'aide de deux jeux de données, SynthIE et REBEL. Les résultats expérimentaux montrent que la technique d'optimisation automatique des invites atteint des performances similaires à celles des invites écrites par l'homme, et que l'amélioration des performances s'accentue avec l'augmentation de la complexité du schéma et de la longueur du texte.

Takeaways, Limitations

•
Takeaways:
◦
Nous démontrons empiriquement que l’efficacité de la construction de graphes de connaissances à l’aide de LLM peut être améliorée grâce à une technique d’optimisation automatique des invites.
◦
L’effet de l’optimisation automatique des invites devient plus important à mesure que la complexité du schéma et la longueur du texte augmentent.
◦
Présente la possibilité de réduire l’effort et le coût de la rédaction manuelle des invites.
•
Limitations:
◦
Ces résultats expérimentaux se limitent à une technique spécifique d'optimisation automatisée des invites et à un ensemble de données LLM. Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité à divers environnements.
◦
Des recherches supplémentaires peuvent être nécessaires pour améliorer les performances de la technique d’optimisation automatique des invites elle-même.
◦
Une validation supplémentaire est nécessaire pour l’applicabilité à divers types de relations et à des structures de phrases complexes.
👍
Slashpage로 제작됨