PoE-World: Compositional World Modeling with Products of Programmatic Experts
Created by
Haebom
저자
Wasu Top Piriyakulkij, Yichao Liang, Hao Tang, Adrian Weller, Marta Kryven, Kevin Ellis
개요
본 논문은 제한된 데이터로 복잡한 환경에 적응할 수 있는 AI 에이전트를 구축하기 위한 새로운 세계 모델 학습 방법을 제시합니다. 기존의 딥러닝 기반 세계 모델은 방대한 훈련 데이터를 필요로 하고, 부족한 관찰 데이터로부터 유연하게 지식을 업데이트하지 못하는 한계가 있습니다. 본 논문에서는 대규모 언어 모델(LLM)을 이용한 프로그램 합성을 통해 소스 코드로 표현되는 세계 모델을 학습하는 대안적인 접근 방식을 제시합니다. 이는 그리드 월드가 아닌 복잡한 환경을 모델링하기 위해 지수 가중 평균을 사용한 프로그램 전문가들의 곱(PoE-World)으로 세계 모델을 표현하는 새로운 프로그램 합성 방법을 도입합니다. Atari의 Pong과 Montezuma's Revenge 게임에서 효율적인 성능과 미지의 레벨에 대한 일반화 능력을 보여주는 모델 기반 계획 에이전트에 학습된 세계 모델을 통합하여 평가합니다. 학습된 세계 모델과 에이전트의 게임 플레이 영상은 공개 링크에서 확인 가능합니다.
시사점, 한계점
•
시사점:
◦
제한된 데이터로 복잡한, 비 그리드 월드 환경을 모델링하는 새로운 프로그램 합성 방법 제시.
◦
LLM을 이용한 프로그램 합성을 통해 강력한 일반화 성능 달성.
◦
Atari 게임에서 효율적인 성능 및 미지의 레벨에 대한 일반화 능력 검증.
◦
학습된 세계 모델과 에이전트의 게임 플레이 영상 공개.
•
한계점:
◦
현재는 Atari 게임에 대한 평가에 국한. 다른 유형의 환경으로의 일반화 가능성에 대한 추가 연구 필요.
◦
LLM 의존성으로 인한 LLM의 한계 (예: 환각, 편향)가 세계 모델에 영향을 미칠 수 있음.
