본 논문은 장기적 목표를 가진 AI 에이전트의 성능 향상을 위해 계획과 내부 세계 모델을 추론 및 행동과 통합하는 사고 프레임워크인 Dyna-Think를 제안한다. Dyna-Think를 구현하기 위해, DeepSeek-R1의 사고 과정을 재구성하여 정책을 초기화하는 Dyna-Think Imitation Learning (DIT)과 세계 모델링 능력과 행동을 개선하는 두 단계 학습 과정인 Dyna-Think Dyna Training (DDT)을 제시한다. OSWorld 환경에서의 실험 결과, Dyna-Think는 R1과 유사한 성능을 보이면서 토큰 생성량을 절반으로 줄였다. 실험을 통해 비판 생성을 활용한 세계 모델 학습의 효과와 우수한 성능의 AI 에이전트와 향상된 세계 모델링 능력 간의 상관관계를 확인했다.
시사점, 한계점
•
시사점:
◦
세계 모델 시뮬레이션을 AI 에이전트에 통합하여 추론, 계획 및 행동 능력을 향상시키는 유망한 연구 방향 제시
◦
비판 생성 기반 세계 모델 학습의 효과 입증
◦
우수한 AI 에이전트 성능과 향상된 세계 모델링 능력 간의 상관관계 확인
◦
토큰 생성량 감소를 통한 효율성 향상
•
한계점:
◦
OSWorld 환경에서만 평가되었으므로 다른 환경에서의 일반화 가능성에 대한 추가 연구 필요
