[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CUBIC: Concept Embeddings for Unsupervised Bias Identification using VLMs

Created by
  • Haebom

저자

David Mendez, Gianpaolo Bontempo, Elisa Ficarra, Roberto Confalonieri, Natalia Diaz-Rodriguez

개요

CUBIC (Concept embeddings for Unsupervised Bias IdentifiCation)은 심층 시각 모델의 편향을 식별하기 위해 이미지-텍스트 잠재 공간과 선형 분류기 프로브를 활용하는 새로운 방법입니다. 기존 방법과 달리, 사전 정의된 편향 후보나 특정 편향과 관련된 모델 오류 예시에 의존하지 않고, 슈퍼클래스 레이블의 잠재 표현에 특정 개념이 미치는 영향을 분석하여 편향을 자동으로 발견합니다. 데이터셋의 모든 인스턴스가 공유하는 슈퍼클래스 레이블의 잠재 표현이 특정 개념의 존재에 따라 어떻게 변화하는지 측정하고, 이 변화를 분류기의 결정 경계에 대한 법선 벡터와 비교하여 모델 예측에 큰 영향을 미치는 개념을 식별합니다. Vision-Language Models (VLMs)을 사용하여 기존에 알려지지 않은 편향을 효과적으로 발견하며, 분류기 성능 저하 샘플이나 잠재적 편향에 대한 사전 지식 없이도 동작합니다.

시사점, 한계점

시사점:
Vision-Language Models을 활용하여 사전 지식 없이도 심층 시각 모델의 편향을 자동으로 발견할 수 있는 새로운 방법 제시.
기존 방법의 한계점인 사전 정의된 편향 후보나 모델 오류 예시에 대한 의존성을 제거.
해석 가능한 개념을 기반으로 편향을 식별하여, 편향의 원인을 이해하는 데 도움.
한계점:
VLM의 성능에 의존적일 수 있음. VLM이 잘못된 잠재 표현을 생성할 경우 CUBIC의 성능에도 영향을 미칠 수 있음.
사용된 VLM의 특성에 따라 CUBIC이 발견하는 편향의 종류와 정확도가 달라질 수 있음.
특정 개념의 영향을 정량적으로 측정하는 방식에 대한 추가적인 검증이 필요할 수 있음.
👍