본 논문은 시각과 언어 간의 깊은 정렬을 달성하는 것이 다중 모달 대규모 언어 모델(MLLM)의 중심 과제임을 다룹니다. 기존 MLLM은 시각적 입력을 충분히 활용하지 못하고 강력한 언어적 사전 지식에 의존하는 경향이 있습니다. 본 연구는 MLLM이 이미지 영역에 대한 시각적 이해를 내부적으로 어떻게 구축하는지에 대한 통찰력을 제공하고, 이러한 능력을 증폭시키는 기술을 제시합니다. 구체적으로, 모델의 시각적 콘텐츠 이해를 심화시키고 시각적 통찰력이 적극적으로 언어 생성을 안내하도록 하는 기술을 탐구합니다. 시각적으로 의존적인 토큰 예측 능력을 정량화하는 상향식 분석과 시각적으로 어려운 작업에서 10점 향상을 통해 결과 모델의 우수한 다중 모달 이해를 보여줍니다.
