How Vision Becomes Language: A Layer-wise Information-Theoretic Analysis of Multimodal Reasoning

Created by

Haebom

저자

Hongxuan Wu, Yukun Zhang, Xueqing Zhou

💡 개요

본 연구는 멀티모달 트랜스포머가 시각 질문에 답변할 때, 시각 증거, 언어 추론, 또는 이 둘의 융합된 계산 중 어떤 것이 예측을 주도하며, 이것이 모델 층별로 어떻게 진화하는지를 규명합니다. 이를 위해 부분 정보 분해(PID) 기반의 층별 프레임워크를 제안하며, 고차원 신경 표현에 PID를 적용하기 위한 새로운 방법론인 'PID Flow'를 개발했습니다. LLaVA 모델에 대한 실험 결과, 시각 정보는 초반에 증가했다가 감소하고, 언어 정보는 후반 층에서 급증하여 최종 예측의 대부분을 설명하는 '모달 변환' 패턴을 발견했습니다.

🔑 시사점 및 한계

•

모달 변환의 명확화: 멀티모달 모델에서 시각 정보는 초기 층에서 언어 정보로 변환되는 주요 경로를 가지며, 언어 정보가 최종 예측에 압도적으로 기여함을 정보 이론적으로 입증했습니다.

•

구조적 안정성 및 작업 의존성: 이러한 모달 변환 경로는 모델 아키텍처에 따라 안정적으로 유지되지만, 특정 추론 작업에 따라 세부적인 정보 흐름 패턴이 달라짐을 확인했습니다.

•

정보 손실 병목 지점 식별: 본 연구의 정보 이론적 프레임워크는 멀티모달 모델에서 모달별 정보 손실이 발생하는 병목 지점을 정량적으로 식별하고 개선하는 데 활용될 수 있습니다.

•

PID Flow의 복잡성 및 계산 비용: 고차원 신경 표현에 PID를 적용하기 위한 PID Flow 방법론은 유용하지만, 여전히 계산량이 많고 복잡할 수 있으며, 특정 가정(예: 가우시안 분포) 하에서 작동한다는 한계가 있습니다.

PDF 보기

Made with Slashpage