Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ÉValuation des LLM sur les prévisions du monde réel par rapport aux superprévisionnistes humains

Created by
  • Haebom

Auteur

Janna Lu

Contour

Cet article évalue le pouvoir prédictif des modèles linguistiques à grande échelle (MLH) de pointe. À l'aide de 464 questions de prédiction de Metaculus, nous avons comparé les performances des LHH à celles de super-prédicteurs humains. Les résultats montrent que, si les modèles de pointe obtiennent de meilleurs scores Brier que la population humaine, ils restent significativement en retrait par rapport aux super-prédicteurs. Cela suggère que, si les LHH affichent des performances remarquables dans diverses tâches, leur pouvoir prédictif reste sous-exploré.

Takeaways, Limitations

Takeaways:
Fournit une analyse comparative objective des performances prédictives futures des LLM de pointe.
Cela montre que la capacité du LLM à prédire l’avenir est encore en retard par rapport à celle des humains, en particulier des super prévisionnistes.
Cela souligne la nécessité de poursuivre les recherches pour améliorer le pouvoir prédictif du LLM.
Limitations:
S’appuyer sur l’ensemble de données Metaculus peut présenter des limites en termes de généralisabilité.
Il se peut qu’une description détaillée de la manière dont le groupe de super prévisionnistes est composé et sélectionné fasse défaut.
Il se peut qu’il y ait un manque d’analyse approfondie des raisons de l’échec de la prédiction du LLM.
👍