본 논문은 대규모 언어 모델(LLM)이 요리 과정을 이해하는 능력을 평가하기 위해 상태 탐색(state probing) 기법을 적용한 연구이다. LLM들은 방대한 양의 절차적 텍스트로 학습되지만, 실제 현상을 직접 관찰하지 못하기 때문에 요리 레시피의 중간 과정을 정확하게 이해하는 데 어려움을 겪는다. 이를 해결하기 위해, 명확하고 정확한 재료 상태 변화 주석이 달린 새로운 일본어 레시피 데이터셋을 구축하고, 이를 바탕으로 LLM이 요리 과정 중 재료 상태 변화를 추적하고 중간 단계에서 존재하는 재료를 식별하는 능력을 평가하는 세 가지 새로운 과제를 제시한다. Llama3.1-70B 및 Qwen2.5-72B와 같은 널리 사용되는 LLM을 사용한 실험 결과, 재료 상태 지식 학습이 요리 과정에 대한 이해도를 향상시켜 상용 LLM과 비슷한 성능을 달성함을 보여준다. 데이터셋은 Hugging Face에서 공개적으로 이용 가능하다.
