Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Les grands modèles de langage savent-ils ce qu’ils savent ?

Created by
  • Haebom

Auteur

Gabriele Prato, Jerry Huang, Prasanna Parthasarathi, Shagun Sodhani, Sarath Chandar

Contour

Cet article présente un référentiel pour évaluer les capacités de reconnaissance de connaissances de soi des modèles linguistiques à grande échelle (MLL). Pour évaluer la capacité des LLM à comprendre l'étendue de leurs connaissances sur un sujet donné, nous analysons s'ils se souviennent de quantités excessives, insuffisantes ou exactes d'informations. Des expériences menées avec des LLM de différentes architectures révèlent que des LLM suffisamment importants démontrent la capacité à comprendre l'étendue de leurs connaissances sur un sujet donné. Cependant, la vitesse à laquelle cette capacité émerge varie selon les architectures, et des recherches supplémentaires sont nécessaires pour confirmer ce potentiel et élucider pleinement les mécanismes sous-jacents.

Takeaways, Limitations_

Takeaways:
Cela suggère que les modèles linguistiques à grande échelle peuvent avoir la capacité de reconnaître leur propre portée de connaissances.
Nous montrons que la capacité de reconnaissance de l’auto-connaissance du LLM peut varier en fonction de la taille et de l’architecture du modèle.
Fournit une nouvelle mesure pour évaluer le niveau d'intelligence du LLM.
Limitations:
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité des critères de référence présentés dans cette étude.
Des recherches supplémentaires sont nécessaires sur les mécanismes sous-jacents de la capacité de conscience de soi des LLM.
Cela nécessite une variété de types de LLM et des recherches sur un plus large éventail de sujets.
👍