본 논문은 3차원 광간섭단층촬영(OCT) 영상을 3차원 광간섭단층촬영 혈관조영술(OCTA) 영상으로 변환하는 새로운 방법인 MuTri 프레임워크를 제안합니다. 기존 방법들이 연속적이고 무한한 공간에서 단일 뷰(OCTA projection map)만을 사용하여 OCT 영상과 OCTA 영상 간 매핑을 학습하는 것과 달리, MuTri는 이산적이고 유한한 공간에서 다중 뷰를 활용합니다. 먼저, 두 개의 벡터 양자화 변분 오토인코더(VQ-VAE)를 사전 훈련하여 3D OCT 및 3D OCTA 데이터를 재구성하고, 이를 통해 후속 다중 뷰 안내를 위한 의미론적 사전 정보를 제공합니다. 다음으로, 다중 뷰 삼중 정렬을 통해 또 다른 VQVAE 모델이 OCT 영역에서 OCTA 영역으로의 매핑을 학습합니다. 대조 학습에서 영감을 받은 의미론적 정렬과 혈관 구조 정렬을 통해 사전 훈련된 모델과의 정보 최대화 및 구조적 차이 최소화를 달성합니다. 또한, 846명의 피험자로부터 OCT 및 OCTA 볼륨 쌍을 포함하는 대규모 데이터셋 OCTA2024를 처음으로 공개합니다.
