Observe-R1: Unlocking Reasoning Abilities of MLLMs with Dynamic Progressive Reinforcement Learning
Created by
Haebom
저자
Zirun Guo, Minjie Hong, Tao Jin
개요
본 논문은 다중 모달 대규모 언어 모델(MLLM)의 추론 능력 향상을 위한 새로운 프레임워크인 Observe-R1을 제시합니다. 인간의 학습 과정에서 영감을 얻어, 간단한 것부터 복잡한 것으로, 쉬운 것부터 어려운 것으로 점진적으로 학습하는 패러다임을 제안합니다. 이를 위해 난이도와 복잡도에 따라 정렬 및 샘플링된 NeuraLadder 데이터셋을 구축하고, 이미지 관찰을 유도하는 다중 모달 형식 제약 조건을 도입하여 시각적 능력을 향상시키고 응답의 명확성과 구조를 개선합니다. 또한, 간결하고 정확한 답변을 유도하는 보너스 보상 시스템과 불확실하고 중간 난이도 문제를 우선시하는 동적 가중치 메커니즘을 구현하여 정보가 풍부한 샘플이 학습에 더 큰 영향을 미치도록 합니다. Qwen2.5-VL-3B 및 Qwen2.5-VL-7B 모델을 사용한 실험 결과, Observe-R1은 다양한 추론 및 일반 벤치마크에서 더 큰 추론 모델들을 능가하며, 추론 과정의 명확성과 간결성을 향상시키는 것으로 나타났습니다. ablation study를 통해 각 전략의 효과를 검증하고, 접근 방식의 강건성과 일반화 성능을 확인했습니다. 데이터셋과 코드는 https://github.com/zrguo/Observe-R1 에서 공개될 예정입니다.
