Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Revisiting the Data Sampling in Multimodal Post-training from a Difficulty-Distinguish View

Created by
  • Haebom
Category
Empty

저자

Jianyu Qi, Ding Zou, Wenrui Yan, Rui Ma, Jiaxu Li, Zhijie Zheng, Zhiguo Yang, Rongchang Zhao

개요

본 논문은 Multimodal Large Language Models (MLLMs)의 Chain-of-Thought (CoT) 추론 능력을 향상시키기 위해, 강화 학습(RL) 기반의 post-training 방식을 연구합니다. 특히, 기존 연구가 간과했던 (1) 샘플의 난이도를 측정하는 지표의 부재, (2) 인지 능력과 추론 능력을 함께 최적화하지 못하는 post-training 방식의 문제를 해결하고자 합니다. 이를 위해, 이미지 품질 저하를 통해 샘플 난이도를 측정하는 Progressive Image Semantic Masking (PISM)과, cross-modal 상호 작용 복잡성을 분석하는 Cross-Modality Attention Balance (CMAB)를 제안합니다. 제안된 지표를 활용하여, GRPO-only 및 SFT+GRPO 하이브리드 training 방식을 포함하는 계층적 training framework을 설계하고, 6개의 벤치마크 데이터셋에서 평가합니다. 실험 결과, 전략적 데이터 샘플링이 supervised fine-tuning 없이도 모델 정확도를 향상시키는 것을 확인했습니다.

시사점, 한계점

시사점:
샘플 난이도를 측정하는 새로운 지표(PISM, CMAB) 제안 및 활용.
GRPO-only training 방식의 효과 입증.
전략적 데이터 샘플링의 중요성 강조.
모델 정확도 향상.
한계점:
특정 데이터셋(수학 관련)에 집중된 연구.
코드 공개 외 구체적인 한계점 언급 부재.
👍