Look Before You Leap: Autonomous Exploration for LLM Agents

작성자

Haebom

카테고리

Empty

저자

Ziang Ye, Wentao Shi, Yuxin Liu, Yu Wang, Zhengzhou Cai, Yaorui Shi, Qi Gu, Xunliang Cai, Fuli Feng

💡 개요

본 논문은 대규모 언어 모델(LLM) 기반 에이전트가 낯선 환경에서 겪는 조기 탐색 실패 문제를 해결하기 위해 자율 탐색의 중요성을 강조합니다. 이를 위해 에이전트가 핵심 상태, 객체, 가능성을 얼마나 폭넓게 발견하는지를 측정하는 '탐색 체크포인트 커버리지(Exploration Checkpoint Coverage)'라는 검증 가능한 지표를 제안합니다. 또한, 작업 수행과 탐색을 번갈아 수행하고 각 유형의 롤아웃에 대해 검증 가능한 보상으로 최적화하는 훈련 전략과, 정보 수집과 작업 실행을 분리하는 '탐색 후 행동(Explore-then-Act)' 패러다임을 개발하여 에이전트의 일반화 성능을 향상시켰습니다.

🔑 시사점 및 한계

•

LLM 에이전트의 일반화 및 실제 환경 적용 가능성을 높이기 위해서는 단순히 주어진 작업을 수행하는 것을 넘어, 환경에 대한 충분한 정보 획득을 위한 자율 탐색 능력이 필수적입니다.

•

'탐색 체크포인트 커버리지'와 같은 검증 가능한 지표는 에이전트의 탐색 품질을 정량화하고 개선하는 데 유용합니다.

•

제안된 '탐색 후 행동' 패러다임은 정보 수집과 작업 실행 단계를 명확히 분리함으로써 에이전트가 보다 체계적으로 환경을 이해하고 복잡한 작업을 수행하도록 돕습니다.

•

현재 연구는 탐색 과정의 효율성이나 탐색 예산의 최적화와 같은 측면에 대한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage