Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Les masters en droit sont-ils prémonitoires ? Une évaluation continue utilisant l'actualité quotidienne comme oracle
Created by
Haebom
Auteur
Hui Dai, Ryan Teehan, Mengye Ren
Contour
Dans cet article, nous proposons une méthode d'évaluation continue pour prédire les événements futurs à partir de l'actualité quotidienne afin de résoudre le problème __T21868__ des tests d'évaluation des modèles de langage à grande échelle (LLM). Nous évaluons la généralisation temporelle et la capacité prédictive du LLM à l'aide de paires question-réponse (QA) générées automatiquement grâce au test « Daily Oracle ». Nos résultats montrent que les performances du LLM se dégradent à mesure que les données de pré-apprentissage vieillissent, et que cette dégradation persiste même en cas de génération de recherche augmentée (RAG), soulignant la nécessité d'une mise à jour continue du modèle. Le code et les données sont disponibles dans __T21867_____ .