본 논문은 규칙 기반 강화 학습(RL)을 다중 모드 대규모 언어 모델(MLLM)에 적용하는 과정에서 발생하는 고유한 과제와 텍스트 전용 영역의 연구 결과와의 차이점, 특히 지각 중심 작업에 대한 차이점을 포괄적으로 연구합니다. 이를 위해 구조화된 실험적 프레임워크로서 지그소 퍼즐을 사용하여 규칙 기반 시각적 RL을 연구했습니다. 지그소 퍼즐은 고유한 정답, 조정 가능한 난이도, 복잡한 의사 결정 요구 사항을 제공하여 본 연구에 적합합니다. 연구 결과, MLLM은 간단한 지그소 퍼즐에서는 거의 무작위 추측에 가까운 성능을 보이지만, 미세 조정을 통해 거의 완벽한 정확도를 달성하고 복잡하고 보지 못한 구성에도 일반화될 수 있음을 발견했습니다. 또한, 지그소 퍼즐 학습은 특정 작업 구성에 따라 효과가 달라지지만 다른 시각적 작업으로의 일반화를 유도할 수 있음을 확인했습니다. 명시적인 추론 유무와 관계없이 MLLM은 학습하고 일반화할 수 있지만, 오픈소스 모델은 종종 직접적인 답변을 선호하며, 단계별 추론을 위해 학습하더라도 최종 답변을 도출하는 사고 과정을 무시할 수 있습니다. 복잡한 추론 패턴은 새롭게 등장하는 것이 아니라 이미 존재하는 것이며, 훈련 및 작업 난이도가 높아짐에 따라 그 빈도가 증가합니다. 마지막으로, RL이 SFT(Supervised Fine-Tuning)보다 더 효과적인 일반화를 보여주며, 초기 SFT 콜드 스타트 단계는 후속 RL 최적화를 방해할 수 있음을 보여줍니다. 이러한 관찰은 지그소 퍼즐을 기반으로 하며 다른 시각적 작업에서 다를 수 있지만, 이 연구는 규칙 기반 시각적 RL과 다중 모드 학습에서의 잠재력에 대한 이해를 높이는 데 기여합니다.
