Adaptive Thinking via Mode Policy Optimization for Social Language Agents
Created by
Haebom
저자
Minzheng Wang, Yongbin Li, Haobo Wang, Xinghua Zhang, Nan Xu, Bingli Wu, Fei Huang, Haiyang Yu, Wenji Mao
개요
본 논문은 기존 사회 지능 시뮬레이션 연구의 한계점인 고정적인 추론 깊이를 극복하기 위해, 상황에 따라 추론 깊이를 동적으로 조절하는 적응형 모델 학습(AML) 프레임워크를 제안합니다. AML은 인지 제어 이론에 기반하여 직관적 반응부터 심층적 숙고까지 다양한 사고 모드를 계층적으로 정의하고, 상황 인식 기반 모드 전환 및 추론을 최적화하는 적응형 모드 정책 최적화(AMPO) 알고리즘을 개발합니다. 이는 다양한 수준의 사고 모드 설계, 사회적 상호작용에 따른 상황 인식 모드 전환, 그리고 깊이 적응형 처리를 통한 토큰 효율적인 추론이라는 세 가지 핵심적인 발전을 이룹니다. 실험 결과, AML은 GPT-4o보다 15.6% 높은 성능을 달성했으며, AMPO는 GRPO보다 7.0% 높은 성능을 32.8% 짧은 추론 체인으로 달성하여 적응형 사고 모드 선택 및 최적화 메커니즘의 우수성을 입증했습니다.
시사점, 한계점
•
시사점:
◦
사회적 상호작용에서의 언어 에이전트의 적응적 사고 능력 향상에 대한 새로운 접근 방식 제시
