본 논문은 기존의 다중 모달 대규모 언어 모델(MLLM) 연구가 일반적인 시각적 이해에만 집중하고 객체와 관련된 텍스트 정보를 통합하여 맥락 인식 다중 모달 이해를 수행하는 능력(영역 수준 맥락 인식 다중 모달 이해, RCMU)을 간과하고 있음을 지적합니다. 이를 해결하기 위해, 영역 또는 객체의 이미지 콘텐츠와 텍스트 정보를 통합하여 사용자 지시에 응답해야 하는 RCMU 작업을 정의하고, 객체 정보를 모델 입력에 통합하여 경계 상자 좌표를 사용하여 객체의 시각적 콘텐츠와 텍스트 정보를 효과적으로 연결할 수 있도록 하는 영역 수준 맥락 인식 시각적 지시 조정(RCVIT) 방법을 제안합니다. 또한, 다양한 RCMU 작업을 다루는 대규모 시각적 지시 조정 데이터셋인 RCMU 데이터셋을 소개하고, RCMU 및 다중 모달 개인화된 이해 작업에서 MLLM의 성능을 평가할 수 있는 종합적인 벤치마크인 RC&P-Bench를 제안합니다. 영역 수준 맥락 인식 이미지 설명을 포괄적이고 세분화된 평가를 위한 참조 없는 평가 지표도 제안합니다. 마지막으로, Qwen2-VL 모델에 RCVIT와 RCMU 데이터셋을 적용하여 RC-Qwen2-VL 모델을 개발하고, 이 모델이 여러 RCMU 작업에서 뛰어난 성능을 달성하고 다중 모달 RAG 및 개인화된 대화에서 성공적인 응용을 보여줌을 실험 결과를 통해 보여줍니다. 데이터, 모델 및 벤치마크는 https://github.com/hongliang-wei/RC-MLLM 에서 제공됩니다.
