Learning Strategic Language Agents in the Werewolf Game with Iterative Latent Space Policy Optimization
Created by
Haebom
저자
Zelai Xu, Wanjun Gu, Chao Yu, Yi Wu, Yu Wang
개요
본 논문은 대규모 언어 모델(LLM) 에이전트가 늑대인 게임과 같은 전략적 언어 게임을 해결하는 데 어려움을 겪는 문제를 해결하기 위해 잠재 공간 정책 최적화(LSPO) 프레임워크를 제안합니다. LSPO는 자유 형식의 발화를 유한한 잠재 전략 공간으로 매핑하여 추상화된 확장 형태 게임을 생성하고, 반실제 후회 최소화(CFR)와 같은 게임 이론적 방법을 사용하여 잠재 공간에서 정책을 최적화합니다. 마지막으로 직접 선호도 최적화(DPO)를 통해 LLM을 미세 조정하여 학습된 정책과 일치하도록 합니다. 늑대인 게임 실험을 통해 LSPO 에이전트가 전략적 추론과 언어적 의사소통을 향상시키고 기존 에이전트보다 성능이 우수함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 에이전트의 전략적 언어 게임 성능 향상에 대한 새로운 접근 방식 제시
◦
잠재 공간을 활용하여 복잡한 언어 공간을 효율적으로 처리하는 방법 제시
◦
게임 이론과 LLM 미세 조정을 결합하여 전략적 추론과 언어적 의사소통을 향상시키는 효과적인 방법 제시
◦
늑대인 게임에서 기존 에이전트보다 우수한 성능을 달성
•
한계점:
◦
제안된 방법이 다른 유형의 전략적 언어 게임에 얼마나 잘 일반화되는지에 대한 추가 연구 필요
