본 논문은 대규모 언어 모델(LLM)과 다중 모달 확장 모델(MLLM)이 다양한 작업에서 기계 추론을 크게 향상시켰지만, 시각 정보가 존재하더라도 주로 텍스트 기반 추론에 의존한다는 점을 지적합니다. 이에 따라, 특히 공간 및 기하 정보를 포함하는 작업에서 언어가 항상 가장 자연스럽거나 효과적인 추론 방식이 아닐 수 있다고 주장합니다. 본 연구는 텍스트와 무관하게 순수한 시각적 표현을 통해 계획을 수립하는 새로운 패러다임인 "시각적 계획(Visual Planning)"을 제안합니다. 이는 인간이 미래 행동을 스케치하거나 시각화하는 방식과 유사하게, 단계별 추론을 시각 영역에 인코딩하는 일련의 이미지를 통해 계획을 실행합니다. 강화 학습 프레임워크인 "시각적 계획을 통한 강화 학습(VPRL)"을 제시하며, 사후 학습 대규모 비전 모델을 위한 GRPO를 활용하여 FrozenLake, Maze, MiniBehavior 등 대표적인 시각적 탐색 작업에서 계획 능력을 크게 향상시켰습니다. 실험 결과, 제안된 시각적 계획 패러다임은 텍스트 기반 추론을 수행하는 다른 모든 계획 변형보다 우수한 성능을 보였으며, 직관적인 이미지 기반 추론으로부터 이점을 얻는 작업에 대한 새로운 가능성을 제시합니다.
