Interpreting CLIP with Hierarchical Sparse Autoencoders
Created by
Haebom
저자
Vladimir Zaigrajew, Hubert Baniecki, Przemyslaw Biecek
개요
본 논문은 다중 모드 표현의 이해에 유용한 희소 자동 인코더(SAE)를 활용하여 대규모 비전-언어 모델(예: CLIP, SigLIP)을 해석하고 제어하는 방법을 제시합니다. 기존 SAE 방법들은 재구성 품질과 희소성을 동시에 최적화하는 데 어려움이 있었으나, 본 논문에서 제안하는 Matryoshka SAE (MSAE)는 다양한 수준의 계층적 표현을 동시에 학습하여 두 지표를 타협 없이 직접 최적화합니다. MSAE는 CLIP에 대해 최첨단 성능을 달성하며, 높은 재구성 품질(0.99 코사인 유사도, 0.1 미만의 분산 설명되지 않음)과 높은 희소성(~80%)을 동시에 유지합니다. 또한, CelebA와 같은 downstream task에서 개념 기반 유사도 검색 및 편향 분석을 수행하기 위해 CLIP의 표현에서 120개 이상의 의미 개념을 추출하여 MSAE의 유용성을 보여줍니다. 소스 코드는 https://github.com/WolodjaZ/MSAE 에서 공개됩니다.
