Thinking by Doing: Building Efficient World Model Reasoning in LLMs via Multi-turn Interaction
Created by
Haebom
Category
Empty
저자
Bao Shu, Yan Cai, Jianjian Sun, Chunrui Han, En Yu, Liang Zhao, Jingcheng Hu, Yinmin Zhang, Haoran Lv, Yuang Peng, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Xiangyu Yue
개요
WMAct는 복잡한 환경에서 계획 및 상호 작용을 위해 강력한 세계 모델 추론을 개발하는 것을 목표로 하는 대규모 언어 모델(LLM) 에이전트를 위한 새로운 접근 방식입니다. 이는 능동적 학습을 제한하는 엄격한 추론 프로세스를 피하면서 효율적인 상호 작용과 능동적 추론을 통해 세계 모델을 내면화합니다. WMAct는 (1) 동작 효율성에 따라 결과 보상을 조정하여 중복 감소 및 의도적인 상호 작용을 장려하는 보상 재조정 메커니즘과 (2) 모델이 환경 단서에 과도하게 의존하는 대신 학습을 압축하고 환경 역학을 내면화하도록 하는 상호 작용 빈도 어닐링 전략의 두 가지 주요 메커니즘을 사용합니다. Sokoban, Maze, Taxi에 대한 실험 결과 WMAct는 이전에 여러 상호 작용이 필요했던 작업을 단일 턴으로 해결하고 복잡한 환경으로의 강력한 전이성을 촉진하여 일련의 추론 벤치마크에서 성능을 향상시키는 효과적인 세계 모델 추론을 제공합니다.
시사점, 한계점
•
시사점:
◦
WMAct는 구조화된 추론에서 벗어나 모델이 수행을 통해 직접 생각을 형성하도록 허용하여 효과적이고 효율적인 세계 모델 추론을 달성합니다.
◦
보상 재조정 및 상호 작용 빈도 어닐링 전략을 통해 중복성을 줄이고 능동적 학습을 촉진합니다.
◦
Sokoban, Maze 및 Taxi에서 이전에는 여러 상호 작용이 필요했던 작업을 단일 턴으로 해결하는 데 성공했습니다.
