Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models

Created by

Haebom

저자

Shaotian Li, Shangze Li, Chuancheng Shi, Wenhua Wu, Yanqiu Wu, Xiaohan Yu, Fei Shen, Tat-Seng Chua

💡 개요

대규모 비전-언어 모델(VLM)의 이상 탐지(AD) 성능을 뒷받침하는 내부 메커니즘은 아직 명확히 밝혀지지 않았으며, 기존 연구는 VLM을 주로 외부 어댑터나 메모리 뱅크를 통해 이상 지식을 습득하는 블랙박스로 취급합니다. 본 논문은 이상 지식이 사전 학습된 모델 내부에 잠재적으로 내재되어 있으며, 특정 희소 뉴런에 집중되어 있다는 가설을 제시합니다. 이를 검증하기 위해 제안된 LAKE(Latent Anomaly Knowledge Excavation) 프레임워크는 소량의 정상 샘플만을 활용하여 이 희소 뉴런을 식별하고 활성화하여, 시각적 구조적 편차와 교차 모달 의미론적 활성화를 통합하는 압축적인 정상성 표현을 구축합니다.

🔑 시사점 및 한계

•

내재된 이상 탐지 능력 활용: 기존의 외부 학습 방식에서 벗어나, 사전 학습된 VLM 자체에 내재된 잠재적인 이상 탐지 지식을 효과적으로 발현시킬 수 있음을 보여줍니다.

•

희소 뉴런 기반의 효율성: 이상 탐지에 중요한 역할을 하는 소수의 민감한 뉴런을 식별함으로써, 모델의 복잡성을 줄이고 효율적인 이상 탐지를 가능하게 합니다.

•

모델 재정의 및 해석 가능성: 이상 탐지를 단순히 다운스트림 작업으로 간주하는 대신, 잠재된 사전 학습 지식의 표적 활성화로 재정의하며, 뉴런 수준의 해석 가능성을 제공합니다.

•

최소한의 데이터 필요성: 외부 학습이나 어댑터 없이, 단지 소수의 정상 샘플만으로도 우수한 성능을 달성할 수 있습니다.

•

한계점: 제안된 LAKE 프레임워크가 특정 유형의 이상 탐지에만 효과적일 수 있으며, 다양한 산업 분야의 복잡하고 미묘한 이상 패턴을 탐지하는 데 있어 추가적인 검증이 필요할 수 있습니다. 또한, 희소 뉴런의 선택 기준이나 활성화 방식에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage