본 논문은 안과 질환 진단에서 다중 모달 데이터 활용의 중요성을 강조하며, 실제 의료 환경에서 다중 모달 데이터의 부족과 데이터 프라이버시 문제로 인해 발생하는 어려움을 다룹니다. 기존 딥러닝 방법의 한계점으로, 복잡한 모달리티 내 불필요한 정보로 인한 잠재 공간 표현의 중복과 모달리티 간 중복 표현으로 인한 독특한 특징 추출의 어려움을 지적합니다. 이를 해결하기 위해, 본 논문에서는 Essence-Point와 Disentangle Representation Learning (EDRL) 전략을 제시합니다. EDRL은 자기 증류 메커니즘을 통합한 end-to-end 프레임워크로, 특징 선택과 분리(disentanglement)를 향상시켜 더욱 강력한 다중 모달 학습을 가능하게 합니다. Essence-Point Representation Learning 모듈은 질병 등급 예측 성능을 향상시키는 차별적 특징을 선택하고, Disentangled Representation Learning 모듈은 다중 모달 데이터를 모달리티 공통 및 고유 표현으로 분리하여 특징 얽힘을 줄이고 안과 질환 진단의 강건성과 해석성을 향상시킵니다. 다중 모달 안과 데이터셋 실험 결과, EDRL 전략이 기존 최첨단 방법들을 상당히 능가하는 성능을 보임을 확인했습니다.
시사점, 한계점
•
시사점:
◦
다중 모달 데이터의 제한된 가용성 문제를 해결하기 위한 새로운 딥러닝 전략 (EDRL) 제시
