본 논문은 늑대인간 게임과 같은 사회적 추론 게임(SDG)에서 다중 모달 정보를 통합한 최초의 프레임워크인 MultiMind를 제시합니다. 기존의 대규모 언어 모델(LLM) 기반 SDG 에이전트는 텍스트 정보만을 사용하는 한계가 있었지만, MultiMind는 얼굴 표정과 음성 톤과 같은 다중 모달 정보를 처리합니다. 또한, 각 플레이어가 다른 플레이어를 얼마나 의심하는지를 나타내는 마음 이론(ToM) 모델을 사용하여 플레이어 간의 상호 인식을 모델링합니다. MultiMind는 ToM 모델과 몬테카를로 트리 탐색(MCTS)을 결합하여 자신에 대한 의심을 최소화하는 의사소통 전략을 식별합니다. 에이전트 간 시뮬레이션과 인간 플레이어와의 연구를 통해 MultiMind의 우수한 게임 플레이 성능을 입증합니다.
