Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Un ensemble de données de recettes très propre avec annotation des états des ingrédients pour la tâche de sondage d'état

Created by
  • Haebom

Auteur

Mashiro Toyooka, Kiyoharu Aizawa, Yoko Yamakata

Contour

Cet article présente une étude appliquant des techniques de sondage d'état pour évaluer la capacité des modèles linguistiques à grande échelle (MLE) à comprendre le processus de cuisson. Les LLE sont entraînés sur de grandes quantités de texte procédural, mais faute d'observation directe des phénomènes réels, ils peinent à comprendre précisément les étapes intermédiaires des recettes de cuisine. Pour remédier à ce problème, nous construisons un nouvel ensemble de données de recettes japonaises avec des annotations claires et précises des changements d'état des ingrédients. À partir de cet ensemble de données, nous présentons trois nouvelles tâches visant à évaluer la capacité des LLE à suivre les changements d'état des ingrédients pendant la cuisson et à identifier les ingrédients présents aux étapes intermédiaires. Les résultats expérimentaux obtenus avec des LLE largement utilisés, tels que Llama3.1-70B et Qwen2.5-72B, démontrent que l'apprentissage de la connaissance de l'état des ingrédients améliore la compréhension du processus de cuisson, atteignant des performances comparables à celles des LLE commerciaux. L'ensemble de données est accessible au public sur Hugging Face.

Takeaways, Limitations_

Takeaways:
Nous présentons une nouvelle méthodologie et un nouvel ensemble de données pour évaluer la compréhension du processus de cuisson en LLM.
Nous avons démontré expérimentalement que l'apprentissage des connaissances sur l'état du matériel est efficace pour améliorer la compréhension du processus de cuisson par les étudiants en LLM.
L’ensemble de données publié fournit une base pour de futures recherches connexes.
Limitations:
L'ensemble de données actuel se limite aux recettes japonaises. Des recherches supplémentaires sont nécessaires pour l'étendre à d'autres langues.
ÉTant donné que les LLM utilisés dans l’expérience étaient limités, d’autres expériences sur différents LLM sont nécessaires.
Elle peut ne pas englober tous les aspects du processus de cuisson. Par exemple, elle peut ne pas tenir compte des facteurs sensoriels (goût, arôme, etc.).
👍