Kai-Wen K. Yang, Andrew Bai, Alexandra Bermudez, Yunqi Hong, Zoe Latham, Iris Sloan, Michael Liu, Vishrut Goyal, Cho-Jui Hsieh, Neil Y. C. Lin
개요
딥러닝이 현미경 이미지를 변환하고 있지만, 새로운 기기나 획득 설정의 이미지에 적용하면 모델이 실패하는 경우가 많다. 기존의 적대적 도메인 적응(ADDA)은 전체 네트워크를 재훈련하여 학습된 의미 표현을 방해하는 경우가 많다. 본 논문에서는 초창기 컨볼루션 레이어만 적응시키고 더 깊은 레이어를 고정하는 것이 안정적인 전송을 제공함을 보여줌으로써 이 패러다임을 뒤집는다. 이 원리를 바탕으로, 우리는 대상 레이블 없이 적응 깊이를 자동으로 선택하기 위해 얕은 레이어 적대적 정렬과 예측 불확실성을 통합하는 자체 구성 프레임워크인 Subnetwork Image Translation ADDA with automatic depth selection (SIT-ADDA-Auto)를 소개한다. 노출 및 조명 변화, 기기 간 전송, 다중 염색에서 SIT-ADDA는 전체 인코더 적응 및 비 적대적 기준선에 비해 재구성 및 다운스트림 분할을 개선하고 의미 특징의 드리프트를 줄인다.
시사점, 한계점
•
초기 컨볼루션 레이어만 적응시키는 방식은 안정적인 전송을 제공한다.
•
SIT-ADDA-Auto 프레임워크는 대상 레이블 없이 적응 깊이를 자동으로 선택한다.
•
노출 및 조명 변화, 기기 간 전송, 다중 염색에서 성능 개선을 보인다.
•
의미 특징의 드리프트가 감소한다.
•
공개된 코드 제공.
•
연구는 현미경 이미지에 초점을 맞추고 있으며, 다른 분야로의 일반화는 추가 연구가 필요할 수 있다.
