Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CBVLM: Training-free Explainable Concept-based Large Vision Language Models for Medical Image Classification

Created by
  • Haebom

저자

Cristiano Patricio, Isabel Rio-Torto, Jaime S. Cardoso, Luis F. Teixeira, Joao C. Neves

개요

본 논문은 의료 영상 분석에서 딥러닝 기반 솔루션의 채택을 제한하는 주요 문제인 주석 데이터의 부족과 해석 가능성 부족을 해결하기 위해, 대규모 비전-언어 모델(LVLM)을 활용하는 CBVLM(Concept Bottleneck Vision-Language Model)을 제안한다. CBVLM은 LVLM을 통해 이미지 내 개념의 유무를 파악하고, 이를 기반으로 이미지를 분류한다. 또한, 상황 학습을 위해 최적의 예시를 선택하는 검색 모듈을 통합하여 주석 비용을 줄이고 해석 가능성을 높인다. 네 개의 의료 데이터셋과 열두 개의 LVLM을 대상으로 한 광범위한 실험을 통해 CBVLM이 기존 방법론보다 우수한 성능을 보임을 입증한다.

시사점, 한계점

시사점:
LVLM의 소수 샷 학습 능력을 활용하여 주석 비용을 대폭 절감.
개념 기반 설명을 통해 모델의 해석 가능성을 향상.
추가 학습 없이 다양한 의료 데이터셋에서 일관된 성능을 보임.
기존 CBM(Concept Bottleneck Model) 및 task-specific supervised methods 보다 우수한 성능.
한계점:
LVLM의 성능에 크게 의존하며, 모델의 한계는 CBVLM의 성능에도 영향을 미침.
개념 정의 및 검색 모듈의 품질이 결과에 중요하게 작용.
LVLM의 계산 비용이 높을 수 있음.
👍