Generative deep learning for foundational video translation in ultrasound
Created by
- Haebom
Category
Empty
저자
Nikolina Tomic Roshni Bhatnagar, Sarthak Jain, Connor Lau, Tien-Yu Liu, Laura Gambini, Rima Arnaout
개요
딥러닝은 의학 영상 획득 및 해석에 혁신을 가져올 잠재력이 있지만, 데이터 불균형과 누락에 대한 주의가 필요하다. 특히 초음파 데이터는 다양한 뷰와 구조 외에도, 회색조 및 컬러 도플러(CFD)와 같은 여러 하위 모달리티를 포함하며, 임상 연구에서 불균형을 보이는 경우가 많아 어려움을 겪는다. 본 연구에서는 54,975개의 비디오로 훈련되고 8,368개로 테스트된 초음파 CFD-회색조 비디오 변환을 위한 생성적 방법을 제시한다. 픽셀 단위, 적대적 및 지각적 손실을 활용하고 해부학적 구조 재구성을 위한 네트워크와 노이즈 제거를 위한 네트워크를 사용하여 실제적인 초음파 영상을 생성했다. 합성 비디오와 실제 비디오 간의 평균 쌍별 SSIM은 0.91+/-0.04였으며, 딥러닝 분류 및 분할 작업에서 실제 비디오와 구분할 수 없을 정도로 우수했다. F1 점수는 실제 비디오에서 0.9, 합성 비디오에서 0.89였고, 실제 및 합성 분할 간 Dice 점수는 0.97이었다. 임상의의 실제 비디오와 합성 비디오 구분 정확도는 54+/-6% (42-61%)로, 현실적인 합성 비디오를 생성함을 나타낸다. 심장 비디오로만 훈련되었지만, 여러 임상 영역에서 잘 작동하여 (평균 SSIM 0.91+/-0.05) 기초적인 능력을 입증했다.
시사점, 한계점
•
시사점:
◦
초음파 CFD-회색조 비디오 변환을 위한 생성적 방법 제시
◦
현실적인 초음파 영상 생성, 딥러닝 작업에서 실제 비디오와 유사한 성능
◦
임상의가 실제 비디오와 구분하기 어려울 정도로 현실적인 합성 비디오 생성
◦
심장 비디오로 훈련되었지만 다양한 임상 영역에서 활용 가능성 입증
◦
과거에 수집된 영상의 활용성을 확장하고, 의료 영상 데이터셋 설계 도구 제공
•
한계점:
◦
구체적인 한계점은 논문에서 명시되지 않음 (추가 정보 필요)
