MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games

Created by

Haebom

저자

Yunfei Xie, Kevin Wang, Bobby Cheng, Jianzhu Yao, Zhizhou Sha, Alexander Duffy, Yihan Xi, Hongyuan Mei, Cheston Tan, Chen Wei, Pramod Viswanath, Zhangyang Wang

💡 개요

본 논문은 다중 턴, 다중 에이전트 LLM 게임 평가에서 발생하는 심각한 실행 편차 문제를 해결하기 위해 MEMO (Memory-augmented Model context optimization)라는 새로운 프레임워크를 제안합니다. MEMO는 지속적인 기억 저장소를 통해 과거 경험에서 얻은 구조화된 통찰력을 활용하고, TrueSkill 기반의 불확실성 인식 선택과 우선순위 리플레이를 통해 탐색을 최적화합니다. 이를 통해 LLM의 성능과 안정성을 크게 향상시켜 신뢰할 수 있는 게임 평가를 가능하게 합니다.

🔑 시사점 및 한계

•

다중 에이전트 LLM 게임에서 일관된 성능과 안정성을 확보하는 것은 평가의 신뢰도를 높이는 데 매우 중요합니다.

•

MEMO 프레임워크는 기억 강화와 탐색 최적화를 통해 LLM 게임 성능을 획기적으로 개선하고 실행 편차를 줄일 수 있음을 보여줍니다.

•

MEMO는 특히 협상 및 불완전 정보 게임에서 큰 효과를 보였지만, 완전 정보 설정에서는 여전히 강화 학습 기반 방법이 더 효과적인 것으로 나타났습니다.

PDF 보기

Made with Slashpage