[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

La synthèse de configuration basée sur LLM nécessite une désambiguïsation

Created by
  • Haebom

Auteur

Rajdeep Mondal, Nikolaj Bjorner, Todd Millstein, Alan Tang, George Varghese

Contour

Dans cet article, nous abordons le problème de l'ambiguïté de l'intention utilisateur, ainsi que celui de l'hallucination dans la synthèse de programmes à l'aide de modèles de langage à grande échelle (MLH). Nous démontrons ce problème d'ambiguïté dans le contexte réseau de la synthèse compositionnelle incrémentale de cartes de route et de listes de contrôle d'accès (ACL). Ces structures se chevauchent souvent dans l'espace d'en-tête, ce qui empêche les LLM de déduire les priorités relatives des tâches sans interaction utilisateur. Des mesures dans un environnement cloud à grande échelle révèlent des LCH complexes avec des centaines de chevauchements, démontrant que l'ambiguïté est un problème réel. Dans cet article, nous proposons un système prototype appelé Clarify qui ajoute un nouveau module, Disambiguator, à LLM pour aider à induire l'intention utilisateur. Clarify synthétise et vérifie de manière incrémentale les politiques de routage après désambiguïsation pour les petites charges de travail de synthèse. Notre approche de l'ambiguïté est également utile dans le cas plus général où les LLM peuvent synthétiser avec précision l'intention des mises à jour, mais leur intégration est ambiguë et peut conduire à des comportements globaux différents.

Takeaways, Limitations_

Takeaways : Cet article clarifie le problème d'ambiguïté des intentions de l'utilisateur dans la synthèse de programmes basés sur le LLM et propose une nouvelle approche (système Clarify) pour le résoudre. La désambiguïsation des intentions de l'utilisateur grâce au module Désambiguïsation peut contribuer à améliorer la fiabilité du LLM. Il suggère la possibilité d'application pour résoudre le problème de l'intégration des intentions ambiguës du LLM dans d'autres domaines ainsi que dans la configuration réseau.
Limitations : Le système Clarify a été évalué uniquement sur une petite charge de travail synthétique ; ses performances et son évolutivité dans un environnement réel à grande échelle doivent donc être vérifiées. La description de la conception et de la mise en œuvre du module de désambiguïsation est insuffisante. La fatigue de l'utilisateur et la complexité des interactions pouvant survenir lors du processus de désambiguïsation sont également insuffisantes.
👍