AgentCPM-Explore: Realizing Long-Horizon Deep Exploration for Edge-Scale Agents

Created by

Haebom

저자

Haotian Chen, Xin Cong, Shengda Fan, Yuyang Fu, Ziqin Gong, Yaxi Lu, Yishan Li, Boye Niu, Chengjun Pan, Zijun Song, Huadong Wang, Yesai Wu, Yueying Wu, Zihao Xie, Yukun Yan, Zhong Zhang, Yankai Lin, Zhiyuan Liu, Maosong Sun

💡 개요

본 논문은 40억 개의 파라미터 규모의 엣지 디바이스에서도 활용 가능한 소형 LLM 에이전트를 훈련하여 장기적인 탐색 문제를 해결하는 'AgentCPM-Explore'를 제안합니다. 엣지 스케일 모델의 성능을 저해하는 세 가지 주요 병목 현상(치명적 망각, 보상 신호 노이즈 민감성, 장기 컨텍스트의 중복 정보로 인한 추론 저하)을 파라미터 공간 융합, 보상 신호 노이즈 제거, 컨텍스트 정보 정제라는 훈련 프레임워크로 해결했습니다. 그 결과, 40억 파라미터 클래스에서 최고 성능을 달성했으며, 80억 파라미터 및 더 큰 모델들과도 경쟁력 있는 성능을 보여주었습니다.

🔑 시사점 및 한계

•

엣지 디바이스와 같이 제한된 컴퓨팅 자원에서도 LLM 기반 에이전트가 복잡한 장기 과제를 효과적으로 수행할 수 있음을 입증했습니다.

•

소형 모델의 성능 한계는 모델 크기 자체보다는 훈련 방식과 안정성 문제에 있음을 시사하며, 새로운 훈련 방법론의 중요성을 강조합니다.

•

AgentCPM-Explore는 특정 벤치마크에서 대규모 모델을 능가하는 성과를 보여주었으나, 실제 다양한 엣지 환경에서의 실시간 성능 및 효율성 검증은 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage