Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

작성자

Haebom

카테고리

Empty

저자

Yanting Miao, Yutao Sun, Dexin Wang, Mengyu Zhou, Pascal Poupart, Lei Lv, Qi Zhao, Li Wang, Hao Li, Xiaoxi Jiang, Guanjun Jiang

💡 개요

본 논문은 멀티모달 대규모 언어 모델(MLLM)이 외부 도구나 이미지 생성기 없이 중간 시각적 증거를 생성하는 시각적 잠재 추론 방식의 불안정성을 해결하고자 합니다. 연구진은 기존 방식의 '출력-입력' 잠재 패러다임에서 발생하는 특징 공간 불일치 문제를 지적하며, 이를 해결하기 위해 특징, 문맥, 용량 세 가지 수준에서 시각적 잠재 추론을 정렬하는 새로운 패러다임인 GAP(Granular Alignment Paradigm)를 제안합니다. GAP는 Qwen2.5-VL 7B 모델에서 최적의 지각 및 추론 성능을 달성하며, 생성된 잠재 토큰이 단순히 추가적인 토큰 슬롯을 넘어 작업 관련 시각적 신호를 제공함을 입증했습니다.

🔑 시사점 및 한계

•

MLLM의 시각적 잠재 추론에서 특징 공간 불일치가 성능 불안정성의 주요 원인임을 규명했습니다.

•

제안된 GAP 패러다임은 특징, 문맥, 용량 수준의 정렬을 통해 MLLM의 시각적 잠재 추론 성능을 효과적으로 향상시킬 수 있음을 보여줍니다.

•

본 연구는 생성된 잠재 토큰이 모델의 의사 결정 과정에 실질적인 시각적 정보를 제공한다는 것을 시사합니다.

•

향후 연구에서는 GAP 패러다임을 더 큰 규모의 MLLM에 적용하고, 다양한 멀티모달 태스크에 대한 일반화 성능을 평가할 필요가 있습니다.

PDF 보기

Made with Slashpage