When Visual Evidence is Ambiguous: Pareidolia as a Diagnostic Probe for Vision Models
Author
- Haebom
Category
Empty
저자
Qianpu Chen, Derya Soydaner, Rob Saunders
💡 개요
본 연구는 시각적 증거가 모호할 때 비얼굴 객체에서 얼굴을 인식하는 인간의 착시 현상인 '파레이돌리아(pareidolia)'를 활용하여 비전 모델의 의사 결정 과정을 분석하는 진단 프레임워크를 제안합니다. 다양한 모델(VLM, ViT, YOLOv8, RetinaFace)을 평가한 결과, 불확실성과 편향이 분리되어 나타나며, 특히 VLM은 모호한 영역을 인간으로 과대 해석하는 경향을 보입니다.
🔑 시사점 및 한계
•
VLM의 의미론적 과활성화(semantic overactivation) 문제 발견: VLM이 인간 외 객체에서 인간 얼굴을 과도하게 인식하는 경향이 있으며, 특히 LLaVA 모델은 73%의 비인간 파레이돌리아 이미지에서 이를 보였고 부정적 감정에서 더 두드러졌습니다.
•
모델별 불확실성 및 편향 대응 전략 차이: 탐지 모델은 낮은 불확실성으로 안전하게 억제하는 반면, VLM은 높은 불확실성으로 과대 해석하며, ViT는 불확실성을 기권 전략으로 활용하여 편향을 낮춥니다.
•
표현 방식(representation)이 임계값(threshold)보다 모호한 상황에서의 행동에 더 큰 영향을 미침: 파레이돌리아는 비전 모델의 의미론적 강건성(semantic robustness)을 진단하고, 모호함을 인지하는 어려운 부정 예시(hard negatives)를 생성하는 데 유용합니다.
•
제한된 모델 및 데이터셋: 분석 대상 모델과 파레이돌리아 이미지 데이터셋의 다양성에 한계가 있어, 다양한 모델 및 더 광범위한 시각적 맥락에서의 검증이 필요합니다.
