BAP v2: An Enhanced Task Framework for Instruction Following in Minecraft Dialogues
Created by
- Haebom
Category
Empty
저자
Prashant Jayannavar, Liliang Ren, Marisa Hudspeth, Charlotte Lambert, Ariel Cordes, Elizabeth Kaplan, Anjali Narayan-Chen, Julia Hockenmaier
개요
본 논문은 Minecraft Collaborative Building Task (MCBT)의 하위 과제인 Builder Action Prediction (BAP)을 개선한 BAP v2를 제안합니다. BAP는 제한된 훈련 데이터를 가지고 다중 모드 게임 컨텍스트에서 정확한 행동 순서를 예측하는 과제입니다. BAP v2는 더 깨끗한 테스트 세트와 공정하고 통찰력 있는 지표를 포함하는 향상된 평가 벤치마크와, 새로운 Minecraft 대화 및 목표 구조 시뮬레이터에서 생성된 추가적인 합성 훈련 데이터로 구성됩니다. 본 논문은 합성 데이터가 상대적으로 간단한 훈련 방법으로도 더 성능이 좋고 견고한 신경망 모델을 훈련하는 데 사용될 수 있음을 보여줍니다. 또한, 간단한 LLM 및 트랜스포머 기반 모델을 사용하여 데이터 및 훈련 방법론의 영향을 보여줌으로써 접근 방식의 견고성을 검증하고, 향후 더욱 발전된 아키텍처와 LLM을 위한 기반을 마련합니다.
시사점, 한계점
•
시사점:
◦
BAP v2는 더 깨끗한 테스트 세트와 향상된 평가 지표를 제공하여 BAP 과제 연구의 효율성과 의미를 높입니다.
◦
새로운 합성 훈련 데이터는 제한된 데이터 환경에서 더욱 성능이 좋은 모델 훈련을 가능하게 합니다.
◦
간단한 훈련 방법으로도 우수한 성능을 보여주어, 향후 더욱 복잡한 모델과 LLM 적용의 가능성을 제시합니다.
◦
향후 대규모 언어 모델(LLM) 훈련 및 미세 조정에 중요한 데이터셋을 제공합니다.
•
한계점:
◦
본 논문은 모델링 자체가 주요 초점이 아니며, 사용된 모델은 상대적으로 간단한 구조입니다. 더욱 복잡한 모델을 적용한 실험 결과는 제시되지 않았습니다.
◦
합성 데이터의 현실 세계 데이터와의 차이에 대한 분석이 부족합니다. 합성 데이터 기반으로 훈련된 모델의 일반화 성능에 대한 추가 연구가 필요합니다.
