본 논문은 인간의 추론 능력을 모방하여 복잡한 다단계 작업에서 대규모 다중 모달 모델(LMM)의 성능을 향상시키는 새로운 프레임워크인 'Visual Thinking'을 제안합니다. Visual Thinking은 LMM이 자체적으로 생성한 개념 다이어그램을 통해 추론하도록 함으로써, 텍스트 기반 추론의 한계를 극복합니다. 이는 그래프 기반 추론 프레임워크에 빔 서치와 심층적 백트래킹을 통합하여 최적화되었으며, 작업 설명만으로도 작동하는 제로샷 방식입니다. PDDL 계획 도메인에서의 실험 결과, Blocksworld와 Floor Tiles와 같은 다양한 복잡한 계획 문제에서 기존 방법보다 상당히 향상된 성능을 보였습니다. 특히, GPT-4o 모델의 Blocksworld 문제 해결률을 35.5%에서 90.2%로 크게 향상시켰으며, 더욱 어려운 문제에서도 o1-preview 모델을 능가하는 결과를 얻었습니다. 이는 개념 다이어그램이 LMM의 추론 매체로서 중요한 역할을 한다는 것을 보여줍니다.
