UOPSL: Unpaired OCT Predilection Sites Learning for Fundus Image Diagnosis Augmentation
Created by
Haebom
저자
Zhihao Zhao, Yinzheng Zhao, Junjie Yang, Xiangtong Yao, Quanmin Liang, Daniel Zapp, Kai Huang, Nassir Navab, M. Ali Nasseri
개요
본 논문은 안과 질환 진단에서 다중 모달 의료 영상의 활용이 크게 발전했지만, 다중 모달 영상 확보의 어려움을 해결하기 위한 새로운 방법을 제시한다. 특히, 비교적 저렴하고 쉽게 얻을 수 있는 안저 사진과 고가의 OCT 영상 간의 불균형 문제를 해결하기 위해, unpaired multimodal framework인 \UOPSL을 제안한다. \UOPSL은 OCT 영상에서 얻은 공간적 사전 정보(predilection sites)를 활용하여 안저 사진 기반 질환 인식을 향상시킨다. 대규모 unpaired OCT 및 안저 이미지에 대한 대조 학습을 통해 OCT 잠재 공간에서 병변 위치 패턴을 학습하고, 이 정보를 활용하여 안저 사진만으로 질환 분류를 수행한다. 28개의 중요 범주를 포함하는 9개의 다양한 데이터셋에서 기존 방법보다 우수한 성능을 보였다고 보고한다.
시사점, 한계점
•
시사점:
◦
안저 사진과 OCT 영상 간의 모달 불균형 문제를 효과적으로 해결하는 새로운 unpaired multimodal framework 제시.