Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs

작성자

Haebom

카테고리

Empty

저자

Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi

💡 개요

본 연구는 멀티모달 거대 언어 모델(MLLM)에서 발생하는 비전-언어 불일치 문제를 해결하기 위해 제안된 Modality-Mutual Attention(MMA)을 소개합니다. 기존 MLLM의 인과적 어텐션 메커니즘이 이미지와 같은 초기 정보가 텍스트와 같은 후기 정보로부터 충분히 학습하지 못하는 한계를 지적하며, MMA는 이미지 토큰이 텍스트 토큰에 어텐션할 수 있도록 함으로써 이 문제를 해결합니다. 이를 통해 추가 파라미터 없이 12개의 멀티모달 이해 벤치마크에서 평균 6.2% 성능 향상을 달성했습니다.

🔑 시사점 및 한계

•

MLLM의 근본적인 아키텍처 설계 관점에서 비전-언어 불일치 문제를 효과적으로 해결하는 새로운 접근 방식을 제시합니다.

•

제안된 Modality-Mutual Attention(MMA)은 추가적인 파라미터 없이 기존 LLM 백본에 쉽게 적용 가능하며, 다양한 멀티모달 시나리오에 확장 가능함을 보여줍니다.

•

본 연구는 주로 비전-언어 데이터셋에 집중되었으나, 향후 오디오, 비디오 등 더욱 다양한 모달리티를 포괄하는 일반화된 MMA 설계에 대한 연구가 필요합니다.

PDF 보기

Made with Slashpage