# SAE-V: Interpreting Multimodal Models for Enhanced Alignment

### 저자

Hantao Lou, Changye Li, Jiaming Ji, Yaodong Yang

### 개요

본 논문은 다중 모달 대규모 언어 모델(MLLMs)의 해석성을 향상시키기 위한 새로운 프레임워크인 SAE-V를 제안합니다.  MLLMs는 이미지 모달리티 통합으로 인해 해석이 어렵고 낮은 희귀 데이터에 취약하며 모달 간 불일치, 환각, 편향된 출력을 초래할 수 있습니다.  기존의 희소 오토인코더(SAE)를 다중 모달 환경에 적용하는 것은 모달 융합 및 교차 모달 표현 분리의 어려움으로 인해 도전적입니다. SAE-V는 해석 가능한 특징과 해당 데이터를 식별 및 분석하여 모델 동작과 데이터 품질에 대한 세분화된 해석을 가능하게 합니다.  특히 교차 모달 특징 가중치를 활용하여 추가 모델 없이도 내재적인 데이터 필터링 메커니즘을 제공하며, MLLMs의 정렬 과정에 적용 시 50% 미만의 데이터로 110% 이상의 성능 향상을 달성할 수 있음을 보여줍니다.

### 시사점, 한계점

- **시사점:**

    - MLLMs의 해석성을 향상시키는 새로운 프레임워크 SAE-V 제시.

    - SAE-V를 이용한 내재적 데이터 필터링 메커니즘을 통해 모델 정렬 향상 및 데이터 효율 증대 가능성 제시. (50% 미만 데이터로 110% 이상 성능 향상)

    - 모델의 내부 메커니즘에 대한 심층적인 이해 제공.

    - 교차 모달 상호 작용 및 정렬 역학에 대한 통찰력 제공.

- **한계점:**

    - SAE-V의 성능이 특정 데이터셋이나 모델에 국한될 가능성.

    - 다양한 유형의 MLLMs 및 다양한 모달리티에 대한 일반화 성능 검증 필요.

    - SAE-V의 계산 비용 및 복잡도에 대한 추가적인 분석 필요.

[PDF 보기](https://arxiv.org/pdf/2502.17514)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).