본 논문은 대규모 언어 모델(LLM)의 상호작용 환경 내 계획 및 추론 능력을 평가하기 위한 새로운 벤치마크 모음인 LLM-BabyBench를 소개합니다. 텍스트 기반 BabyAI 그리드 월드를 기반으로, LLM을 환경 상태에 대한 행동의 결과 예측(Predict), 목표 달성을 위한 저수준 행동 시퀀스 생성(Plan), 고수준 지시 사항을 일관된 하위 목표 시퀀스로 분해(Decompose)라는 세 가지 기본적인 지능 측면에서 평가합니다. 전문가 에이전트로부터 구조화된 정보를 추출하여 세 가지 데이터셋(LLM-BabyBench-Predict, -Plan, -Decompose)을 생성하는 방법론을 자세히 설명하고, 생성된 계획을 검증하기 위한 환경 상호작용을 포함한 표준화된 평가 도구와 지표를 제공하여 다양한 LLM에 대한 재현 가능한 평가를 용이하게 합니다. 초기 기준 결과는 이러한 기반 추론 작업이 제기하는 어려움을 강조합니다. 벤치마크 모음, 데이터셋, 데이터 생성 코드 및 평가 코드는 공개적으로 제공됩니다.
