본 논문은 다중 모달 대규모 언어 모델(MLLMs)의 해석성을 향상시키기 위한 새로운 프레임워크인 SAE-V를 제안합니다. MLLMs는 이미지 모달리티 통합으로 인해 해석이 어렵고 낮은 희귀 데이터에 취약하며 모달 간 불일치, 환각, 편향된 출력을 초래할 수 있습니다. 기존의 희소 오토인코더(SAE)를 다중 모달 환경에 적용하는 것은 모달 융합 및 교차 모달 표현 분리의 어려움으로 인해 도전적입니다. SAE-V는 해석 가능한 특징과 해당 데이터를 식별 및 분석하여 모델 동작과 데이터 품질에 대한 세분화된 해석을 가능하게 합니다. 특히 교차 모달 특징 가중치를 활용하여 추가 모델 없이도 내재적인 데이터 필터링 메커니즘을 제공하며, MLLMs의 정렬 과정에 적용 시 50% 미만의 데이터로 110% 이상의 성능 향상을 달성할 수 있음을 보여줍니다.
