Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Cet article analyse l'amélioration des performances des grands modèles de langage (LLM) grâce à l'incitation par chaîne de pensée (CoT) du point de vue de la distribution des données. Nous étudions si l'inférence CoT reflète les biais inductifs structurels appris à partir des données d'entraînement, permettant ainsi une génération conditionnelle qui se rapproche des chemins d'inférence observés pendant l'entraînement. Pour y parvenir, nous concevons DataAlchemy, un environnement contrôlé dans lequel nous entraînons les LLM de A à Z et étudions systématiquement diverses conditions distributionnelles. Nous analysons l'inférence CoT selon trois dimensions : tâche, longueur et format. Nos résultats révèlent que l'inférence CoT est un phénomène fragile qui disparaît en dehors de la distribution d'entraînement, soulignant la difficulté d'obtenir une inférence véritablement généralisable.
Takeaways, Limitations
•
Takeaways: En révélant les limites de l'inférence CoT du point de vue de la distribution des données, nous apportons une meilleure compréhension des capacités d'inférence de LLM. Nous suggérons que l'efficacité de l'inférence CoT est fondamentalement limitée par le degré d'inadéquation distributionnelle entre les données d'apprentissage et les requêtes de test. Nous présentons une méthodologie d'analyse systématique du mécanisme d'inférence de LLM à l'aide d'un environnement contrôlé tel que DataAlchemy.
•
Limitations: L'environnement DataAlchemy repose sur des résultats expérimentaux obtenus dans des conditions spécifiques. Des recherches supplémentaires sont donc nécessaires pour déterminer sa généralisabilité à des environnements réels complexes. L'analyse se limite à certaines dimensions (tâche, longueur, format) et l'influence d'autres facteurs importants n'a peut-être pas été prise en compte. Des recherches supplémentaires sont nécessaires pour élucider pleinement les limites inhérentes à l'inférence CoT.
