Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Un conjunto de datos de recetas muy limpio con anotación de estados de ingredientes para la tarea de sondeo de estados

Created by
  • Haebom

Autor

Mashiro Toyooka, Kiyoharu Aizawa, Yoko Yamakata

Describir

Este artículo presenta un estudio que aplica técnicas de sondeo de estados para evaluar la capacidad de los modelos de lenguaje a gran escala (LLM) para comprender el proceso de cocción. Los LLM se entrenan con grandes cantidades de texto procedimental, pero debido a su falta de observación directa de fenómenos del mundo real, tienen dificultades para comprender con precisión los pasos intermedios en las recetas de cocina. Para abordar esto, construimos un novedoso conjunto de datos de recetas japonesas con anotaciones claras y precisas de los cambios en el estado de los ingredientes. Con base en este conjunto de datos, presentamos tres nuevas tareas para evaluar la capacidad de los LLM para rastrear los cambios en el estado de los ingredientes durante el proceso de cocción e identificar los ingredientes presentes en los pasos intermedios. Los resultados experimentales utilizando LLM ampliamente utilizados, como Llama3.1-70B y Qwen2.5-72B, demuestran que el aprendizaje del conocimiento del estado de los ingredientes mejora la comprensión del proceso de cocción, logrando un rendimiento comparable al de los LLM comerciales. El conjunto de datos está disponible públicamente en Hugging Face.

Takeaways, Limitations

Takeaways:
Presentamos una nueva metodología y conjunto de datos para evaluar la comprensión del proceso de cocción en LLM.
Demostramos experimentalmente que el aprendizaje del conocimiento sobre las condiciones del material es eficaz para mejorar la comprensión de los estudiantes de LLM sobre el proceso de cocción.
El conjunto de datos publicado proporciona una base para futuras investigaciones relacionadas.
Limitations:
El conjunto de datos actual se limita a recetas japonesas. Se requiere más investigación para ampliarlo a otros idiomas.
Debido a que los LLM utilizados en el experimento fueron limitados, se necesitan más experimentos con varios LLM.
Puede que no abarque todos los aspectos del proceso de cocción. Por ejemplo, puede que no tenga en cuenta factores sensoriales (sabor, aroma, etc.).
👍