# OCCAM: Open-set Causal Concept explAnation and Ontology induction for black-box vision Models

### 저자

Chiara Maria Russo, Simone Carnemolla, Simone Palazzo, Daniela Giordano, Concetto Spampinato, Matteo Pennisi

### 💡 개요

본 논문은 내부 구조에 접근할 수 없는 블랙박스 이미지 분류 모델의 의사 결정 과정을 해석하는 문제를 다룹니다. 이를 위해 OCCAM이라는 프레임워크를 제안하며, 이 프레임워크는 오픈셋(open-set) 방식으로 시각적 개념을 발견하고, 텍스트 안내를 통해 이를 시각화하며, 개념 제거를 통한 개입 실험으로 각 개념의 인과적 기여도를 추정합니다. 더 나아가, 데이터셋 전반에 걸쳐 수집된 개입 증거를 종합하여 분류기가 시각적 개념을 전역적으로 어떻게 구성하는지를 나타내는 구조화된 개념 온톨로지를 유도합니다.

### 🔑 시사점 및 한계

- 블랙박스 모델에서도 오픈셋 방식으로 시각적 개념을 효과적으로 발견하고 설명할 수 있습니다.

- 개념 제거를 통한 개입 실험은 개념의 인과적 기여도를 정량적으로 측정하는 강력한 방법론을 제공합니다.

- 데이터셋 수준의 개념 온톨로지 유도는 모델의 전역적인 이해, 개념 간의 잠재적 인과 관계 및 체계적인 편향을 드러내는 데 유용합니다.

- (한계점 또는 향후 과제) 본 연구의 방법론이 복잡한 모델이나 다양한 종류의 모델에 얼마나 잘 일반화되는지에 대한 추가적인 연구가 필요할 수 있습니다. 또한, '오픈셋' 개념 발견의 완전성에 대한 검증도 중요할 것입니다.

---

[PDF 보기](https://arxiv.org/pdf/2605.18481)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).