본 논문은 규칙 기반 강화 학습(RL)을 다중 모달 대규모 언어 모델(MLLM)에 적용하는 연구로, 특히 지각 중심 작업에 있어 텍스트 전용 영역의 연구 결과와는 다른 독특한 과제와 잠재적 편차를 제시한다. 지그소 퍼즐을 구조화된 실험적 프레임워크로 사용하여 규칙 기반 시각적 RL에 대한 포괄적인 연구를 수행하고, 여러 가지 주요 발견을 제시한다. MLLM이 단순한 퍼즐에서는 거의 무작위 추측 수준의 성능을 보이지만, 미세 조정을 통해 거의 완벽한 정확도를 달성하고 복잡하고 보지 못한 구성에도 일반화됨을 보였다. 지그소 퍼즐 학습은 특정 작업 구성에 따라 효과가 달라지지만, 다른 시각적 작업으로의 일반화를 유도할 수 있다는 것을 밝혔다. MLLM은 명시적인 추론 유무에 관계없이 학습하고 일반화할 수 있지만, 오픈소스 모델은 종종 직접적인 답변을 선호하며, 단계별 추론을 위해 훈련하더라도 최종 답변을 도출하는 사고 과정을 무시할 수 있다. 복잡한 추론 패턴은 새롭게 나타나는 것이 아니라 이미 존재하는 것이며, 훈련과 작업 난이도가 높아짐에 따라 빈도가 증가하는 것을 관찰하였다. RL이 SFT(Supervised Fine-Tuning)보다 더 효과적인 일반화를 보여주며, 초기 SFT 콜드 스타트 단계는 후속 RL 최적화를 방해할 수 있다는 것을 실험적으로 증명했다. 이러한 관찰은 지그소 퍼즐을 기반으로 하며 다른 시각적 작업에 따라 다를 수 있지만, 규칙 기반 시각적 RL과 다중 모달 학습에서의 잠재력에 대한 이해를 높이는 데 기여한다.
