Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Questions de médailles : enquêter sur les cas d'échec des LLM à travers les classements olympiques

Created by
  • Haebom

Auteur

Juhwan Choi, Seunguk Yu, JungMin Yun, YoungBin Kim

Contour

Cet article utilise des données historiques sur le décompte des médailles olympiques pour explorer la structure des connaissances internes d'un modèle linguistique à grande échelle (MLL). Nous évaluons les performances du LLM sur deux tâches : la récupération du nombre de médailles d'un pays donné et la détermination du classement de chaque pays. Nous constatons que si les LLM les plus performants excellent dans la récupération des médailles, ils peinent à établir des classements. Ce résultat met en évidence l'écart entre l'organisation des connaissances du LLM et le raisonnement humain, soulignant ainsi les limites de son intégration interne. Afin de faciliter la recherche, nous avons rendu le code, l'ensemble de données et les résultats du modèle accessibles au public.

Takeaways, Limitations

Takeaways : Nous avons approfondi notre compréhension de la structure interne des connaissances du LLM. Nous avons clairement identifié les forces et les faiblesses du LLM, suggérant des orientations de recherche futures. Le code, les ensembles de données et les résultats du modèle, accessibles au public, contribueront aux recherches futures.
Limitations : Cette étude se limite à un ensemble de données spécifique : le décompte des médailles olympiques. Des recherches supplémentaires sont nécessaires pour déterminer les performances de LLM sur d’autres types de données ou de tâches. Une analyse approfondie des méthodes d’intégration des connaissances de LLM fait défaut.
👍