Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
La tâche de prédiction du prochain jeton suppose un ordre optimal des données pour la formation LLM dans la génération de preuves
Created by
Haebom
Auteur
Chenyang An, Shima Imani, Feng Yao, Chengyu Dong, Ali Abbasi, Harsh Shrivastava, Samuel Buss, Jingbo Shang, Gayathri Mahalingam, Pramod Sharma, Maurice Diesendruck
Contour
Cet article soutient que la sous-performance du LLM dans le domaine de la génération de preuves basées sur des modèles de langage à grande échelle (LLM) s'explique par l'ordre non optimal des données. Alors que les données de preuve existantes sont organisées selon un ordre logique pour faciliter la vérification, nous suggérons qu'un « ordre intuitif séquentiel », utile dans le processus de découverte de preuves, est plus efficace pour l'apprentissage de modèles. Un ordre intuitif séquentiel désigne l'ordre dans lequel les informations de guidage intermédiaires requises pour une étape de preuve spécifique sont placées avant cette étape. L'efficacité de l'ordre intuitif séquentiel est vérifiée dans deux tâches : la démonstration de théorèmes de logique intuitive et la multiplication de chiffres. Il est démontré que les modèles entraînés dans l'ordre optimal améliorent le taux de réussite des preuves jusqu'à 11 % par rapport aux modèles entraînés dans le pire ordre. De plus, nous définissons le problème d'ordre, qui apparaît fréquemment dans les preuves mathématiques avancées, et montrons que 17,3 % des preuves non triviales des deux premiers chapitres des manuels de mathématiques de niveau master présentent ce problème.
Takeaways, Limitations_
•
Takeaways: Il est démontré que l'ordre des données d'apprentissage doit être pris en compte pour améliorer les performances de la génération de preuves basée sur LLM. Il est expérimentalement prouvé que le tri séquentiel des données a un impact significatif sur les performances du modèle. Cela suggère une direction pour l'amélioration qualitative des jeux de données de preuves mathématiques avancées.
•
Limitations: Des recherches supplémentaires sont nécessaires pour déterminer si la définition proposée de « l'ordre intuitivement séquentiel » constitue un critère universel applicable à tous les types de preuves. L'analyse actuelle se limite à certains types de preuves et de manuels, et une validation sur un ensemble de données plus large est nécessaire. Des recherches supplémentaires sont nécessaires sur les méthodes permettant de générer ou d'identifier automatiquement un ordre intuitivement séquentiel.
