Joint semi-supervised and contrastive learning enables domain generalization and multi-domain segmentation
Created by
Haebom
저자
Alvaro Gomariz, Yusuke Kikuchi, Yun Yvonna Li, Thomas Albrecht, Andreas Maunz, Daniela Ferrara, Huanxiang Lu, Orcun Goksel
개요
SegCLR은 다양한 도메인의 이미지를 분할하기 위해 설계된 다목적 프레임워크입니다. 지도 학습과 대조 학습을 동시에 사용하여 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터 모두로부터 효과적으로 학습합니다. 3D 망막 OCT 이미지의 세 가지 다양한 임상 데이터셋을 사용한 포괄적인 평가를 통해, 다양한 네트워크 구성과 10가지 다른 네트워크 초기화를 통한 검증에서 SegCLR의 우수한 성능을 보여줍니다. 지도되지 않은 도메인 적응 환경에서 SegCLR은 대상 도메인에서 훈련된 지도 상한선 모델과 동등한 결과를 달성합니다. 특히, SegCLR 프레임워크의 분할 성능은 대상 도메인의 레이블되지 않은 데이터의 풍부함에 거의 영향을 받지 않는다는 것을 발견했습니다. 따라서 대상 도메인 정보가 필요 없는 제로샷 도메인 적응으로 알려진 SegCLR의 효과적인 도메인 일반화 확장을 제안합니다. 이는 분할을 위한 표준 지도 학습에 대조 손실을 추가하는 것이 도메인 내 및 도메인 외 테스트 데이터에 대해 본질적으로 더 일반화 가능한 우수한 모델로 이어진다는 것을 보여줍니다. 또한 레이블이 지정된 데이터를 포함하는 여러 도메인이 있는 현실적인 시나리오에서 SegCLR 배포를 위한 실용적인 솔루션을 제안합니다. 따라서 본 프레임워크는 레이블이 지정된 데이터, 레이블이 지정되지 않은 데이터 또는 데이터가 없는 경우와 관계없이 다중 도메인 애플리케이션에서 심층 학습 기반 분할의 경계를 넓힙니다.
시사점, 한계점
•
시사점:
◦
지도 및 대조 학습을 결합하여 레이블이 있는 데이터와 없는 데이터 모두를 활용한 효과적인 다중 도메인 이미지 분할 프레임워크를 제시.
◦
지도되지 않은 도메인 적응에서 지도 상한선 모델과 유사한 성능 달성.
◦
대상 도메인의 레이블되지 않은 데이터 양에 대한 의존성이 낮음을 확인하고, 제로샷 도메인 적응을 가능하게 하는 확장 제안.
◦
다양한 네트워크 구성과 초기화를 통해 성능의 견고성을 검증.
◦
현실적인 다중 도메인 시나리오를 위한 실용적인 배포 솔루션 제시.
•
한계점:
◦
본 논문에서는 특정한 3D 망막 OCT 이미지 데이터셋에 대한 평가 결과만 제시. 다른 유형의 이미지 데이터셋에 대한 일반화 성능은 추가적인 연구가 필요.
◦
제로샷 도메인 적응의 성능이 항상 지도 학습 기반 모델을 능가한다는 보장은 없음. 성능은 도메인 간의 유사성에 영향을 받을 수 있음.
