Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Not All Attention Heads Are What You Need: Refining CLIP's Image Representation with Attention Ablation

Created by
  • Haebom
Category
Empty

저자

Feng Lin, Marco Chen, Haokui Zhang, Xiaotian Yu, Guangming Lu, Rong Xiao

개요

본 논문은 CLIP의 이미지 인코더에서 어텐션 헤드의 역할을 연구하고, 특정 헤드가 표현에 해로운 영향을 미치는 것을 발견했다. 이를 해결하기 위해 어텐션 가중치를 직접 조작하여 선택된 헤드를 억제하는 간단하고 효과적인 어텐션 제거 기법(AAT)을 제안한다. AAT는 다양한 적용 시나리오에 맞춰 두 가지 보완적인 전략을 통합하여, 최소한의 오버헤드로 유해한 헤드를 체계적으로 식별하고 제거할 수 있도록 한다. 실험 결과, AAT는 다양한 도메인에서 다운스트림 성능을 일관되게 향상시키고, 교차 모달 검색 벤치마크에서 최대 11.1%의 리콜을 향상시켰다.

시사점, 한계점

•
시사점:
◦
CLIP의 이미지 인코더에서 특정 어텐션 헤드의 해로운 영향을 발견하고, 이를 해결하는 AAT 기법을 제시.
◦
AAT는 거의 추가적인 추론 비용 없이 대규모 VLMs의 성능을 효과적으로 개선.
◦
의미론적으로 의미 있는 패턴을 생성하여 기존 해석 연구 결과와 일치.
◦
교차 모달 검색을 포함한 다양한 다운스트림 작업에서 성능 향상 확인.
•
한계점:
◦
논문 자체에서 구체적인 한계점이 명시되지 않음. (논문 요약만 제공되었기 때문)
👍
Made with Slashpage