ProAct: Agentic Lookahead in Interactive Environments

Created by

Haebom

저자

Yangbin Yu, Mingyu Yang, Junyou Li, Yiming Gao, Feiyu Liu, Yijun Yang, Zichuan Lin, Jiafei Lyu, Yicheng Liu, Zhicong Lu, Deheng Ye, Jie Jiang

💡 개요

기존 LLM 에이전트는 장기 계획이 필요한 대화형 환경에서 오류가 누적되는 문제점을 보이며 어려움을 겪습니다. 이를 해결하기 위해 본 논문은 두 단계 학습 패러다임을 통해 에이전트가 정확한 예측 추론을 내재화하도록 하는 ProAct 프레임워크를 제안합니다. Grounded LookAhead Distillation (GLAD)을 통해 에이전트는 환경 기반 탐색에서 파생된 궤적에 대한 지도 학습을 거쳐 복잡한 탐색 트리를 간결한 인과적 추론 체인으로 압축함으로써 추론 시점 탐색의 계산 오버헤드 없이 예측 로직을 학습합니다.

🔑 시사점 및 한계

•

LLM 에이전트가 장기 계획이 요구되는 대화형 환경에서 발생하는 예측 오류 문제를 효과적으로 해결할 수 있는 새로운 학습 프레임워크를 제시합니다.

•

GLAD와 MC-Critic을 통해 기존 LLM 에이전트의 성능을 크게 향상시키며, 특히 4B 파라미터 모델이 최신 모델들과 경쟁할 만한 우수한 성능을 보여줍니다.

•

다양한 환경에 대한 강력한 일반화 성능을 입증하며, 실제 적용 가능성을 높입니다.

•

MC-Critic의 효율성은 계산 비용이 높은 모델 기반 가치 근사에 의존하지 않고 안정적인 정책 최적화를 가능하게 합니다.

•

(한계점 또는 향후 과제) 2048과 같은 확률적 환경과 Sokoban과 같은 결정론적 환경에서의 실험 결과는 제시되었으나, 더 복잡하고 현실적인 대화형 환경에서의 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage