Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

R1-ShareVL: Incentivizing Reasoning Capability of Multimodal Large Language Models via Share-GRPO

Created by
  • Haebom

저자

Huanjin Yao, Qixiang Yin, Jingyi Zhang, Min Yang, Yibo Wang, Wenhao Wu, Fei Su, Li Shen, Minghui Qiu, Dacheng Tao, Jiaxing Huang

개요

본 논문은 강화 학습(RL)을 통해 다중 모달 대규모 언어 모델(MLLM)의 추론 능력을 향상시키는 새로운 방법인 Share-GRPO를 제안합니다. Share-GRPO는 RL 학습 중 발생하는 희소 보상 및 이점 소멸 문제를 해결하기 위해, 데이터 변환 기술을 통해 질문 공간을 확장하고, 확장된 질문 공간에서 다양한 추론 경로를 탐색하고 공유하는 전략을 사용합니다. 또한, 질문 변형 간 및 내부에서 계층적으로 솔루션 이점을 추정하여 보상 정보를 공유함으로써 상대적 이점을 더 정확하게 추정하고 정책 학습의 안정성을 향상시킵니다. 여섯 가지 널리 사용되는 추론 벤치마크에 대한 광범위한 평가를 통해 제안된 방법의 우수한 성능을 보여줍니다.

시사점, 한계점

•
시사점:
◦
다중 모달 대규모 언어 모델의 추론 능력 향상에 효과적인 강화 학습 기반 방법 제시.
◦
희소 보상 및 이점 소멸 문제를 효과적으로 완화하는 전략 제시.
◦
질문 공간 확장 및 다양한 추론 경로 탐색 및 공유를 통한 성능 향상.
◦
계층적 보상 정보 공유를 통한 정책 학습 안정성 향상.
◦
다양한 추론 벤치마크에서 우수한 성능 입증.
•
한계점:
◦
제시된 방법의 일반화 성능에 대한 추가적인 연구 필요.
◦
특정 데이터 변환 기술 및 보상 함수에 대한 의존성.
◦
계산 비용이 높을 수 있음.
◦
공개된 코드의 성능 및 안정성에 대한 검증 필요.
👍
Made with Slashpage