본 논문은 타인의 정신 상태를 추론하는 능력인 ToM(Theory of Mind)에 기반한 의사 결정 능력이 부족한 시각-언어 기반 에이전트의 한계를 지적하며, 이를 해결하기 위해 로봇 중심 프레임워크인 MindPower를 제안한다. MindPower는 지각, 정신적 추론, 의사 결정 및 행동 단계를 통합하여 자기 자신과 타인의 정신 상태를 모델링하고, 이를 기반으로 일관된 의사 결정 및 행동 생성을 유도한다. 또한, 일관된 ToM 추론과 행동을 장려하는 새로운 최적화 목표인 Mind-Reward를 도입하여, GPT-4o 대비 의사 결정 및 행동 생성 성능을 향상시켰다.
시사점, 한계점
•
시사점:
◦
ToM 기반 의사 결정의 중요성을 강조하고, 이를 위한 새로운 프레임워크 MindPower 제시.
◦
자기 자신과 타인의 정신 상태를 모두 고려하는 로봇 중심의 접근 방식 채택.
◦
Mind-Reward라는 새로운 최적화 목표를 통해 VLMs의 ToM 능력 향상 도모.
◦
GPT-4o 대비 우수한 성능 입증.
•
한계점:
◦
구체적인 MindPower 프레임워크의 구현 및 각 구성 요소의 세부 사항에 대한 정보 부족.
