Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Décodage d'évitement pour la génération d'histoires multi-branches diversifiées

Created by
  • Haebom

Auteur

Parc Kyeongman, Nakyeong Yang, Kyomin Jung

Contour

Cet article propose une nouvelle stratégie de décodage, le décodage par évitement, pour résoudre le problème des modèles de langage à grande échelle (MLH) générant des sorties répétitives et monotones en raison d'une diversité créative limitée pour une même invite d'entrée, en particulier dans des tâches telles que la génération d'histoires. Le décodage par évitement modifie les logits symboliques en pénalisant la similarité avec les sorties générées précédemment, encourageant ainsi des récits multi-branches plus diversifiés. Cette pénalité est équilibrée de manière adaptative, privilégiant les pénalités de similarité au niveau des concepts dans les premières étapes afin de promouvoir la diversité des premiers concepts de l'histoire, et accentuant progressivement les pénalités de similarité au niveau narratif dans les étapes ultérieures afin de garantir des développements d'intrigue naturels mais diversifiés. La méthode proposée atteint une diversité de sortie jusqu'à 2,6 fois supérieure aux méthodes existantes, réduit la répétition de 30 % en moyenne et atténue efficacement la dégradation du texte. De plus, nous démontrons que la méthode active un plus large éventail de neurones, exploitant ainsi la créativité inhérente au modèle.

Takeaways, Limitations

Takeaways:
Nous présentons le décodage d'évitement, une nouvelle stratégie de décodage qui améliore la diversité de sortie du LLM.
Permet d'obtenir une diversité de sortie et une réduction des répétitions nettement supérieures à celles des méthodes existantes.
Atténuer les problèmes de dégradation du texte.
Démontrer la créativité inhérente au LLM.
Limitations:
D’autres expériences sont nécessaires pour évaluer les performances de généralisation de la méthode proposée.
L’applicabilité à différents types de LLM et d’emplois doit être vérifiée.
Des recherches supplémentaires sont nécessaires pour déterminer le rapport optimal entre les pénalités de similarité au niveau du concept et au niveau de la description.
👍