Lost in Translation: How Language Re-Aligns Vision for Cross-Species Pathology

Created by

Haebom

저자

Ekansh Arora

💡 개요

이 연구는 계산 병리학에서 파운데이션 모델의 종간(cross-species) 전이 학습 성능을 탐구하며, 특히 CPath-CLIP 모델을 사용하여 개와 사람의 조직 병리학 이미지에 대한 암 탐지 성능을 평가했습니다. 미세 조정을 통해 동일 암 및 종내 암 전이 성능은 향상되었으나, 종간 전이 성능은 여전히 한계가 있었습니다. 제안된 Semantic Anchoring 기법은 언어를 활용하여 시각적 특징에 안정적인 참조 체계를 제공함으로써 이러한 문제를 해결하고자 합니다.

🔑 시사점 및 한계

•

언어 모델은 시각적 특징의 의미론적 재해석을 가능하게 하여, 종간 전이 학습에서 성능 저하를 완화하는 중요한 역할을 합니다.

•

Semantic Anchoring 기법은 복잡한 텍스트 인코더 없이도 텍스트-시각 정렬 메커니즘 자체를 통해 성능 향상을 가져올 수 있습니다.

•

종간 암 탐지에서 언어 모델의 성능은 여전히 최신 기술 수준에 미치지 못하며, 언어 정보만으로는 종 내에서 발생하는 시각적 정보의 부족을 완전히 극복하기 어렵습니다.

•

종에 따른 정렬 편향으로 인한 의미론적 붕괴(semantic collapse)가 새로운 실패 모드로 확인되었으며, 이는 향후 연구에서 해결해야 할 과제입니다.

PDF 보기

Made with Slashpage