Sign In

Sim2Real within 5 Minutes: Efficient Domain Transfer with Stylized Gaussian Splatting for Endoscopic Images

Created by
  • Haebom
Category
Empty

저자

Junyang Wu, Yun Gu, Guang-Zhong Yang

개요

본 논문은 로봇 보조 내강 중재술에서 내시경의 위치 및 자세를 복원하기 위한 효율적인 영역 전이 방법을 제안합니다. 기존 방법들은 스타일 전이를 사용하지만, 대량의 데이터와 긴 훈련 시간이 필요한 반면, 본 논문은 스타일화된 가우시안 스플래팅 기반의 방법을 제시하여 단 10장의 실제 이미지만으로도 빠른 훈련이 가능하도록 합니다. CT 스캔으로부터 재구성된 3D 모델을 미분 가우시안 점 구름으로 표현하고, 색상 외관 관련 매개변수만 최적화하여 스타일을 전이하면서 시각적 내용은 보존합니다. 잠재 특징과 깊이 수준에 새로운 구조 일관성 손실을 적용하여 전이된 이미지의 안정성을 향상시킵니다. 실험 결과를 통해 기존 최첨단 기술보다 성능 우위를 보이며, 수술 중 내비게이션의 잠재력을 강조합니다.

시사점, 한계점

시사점:
소량의 데이터(10장의 이미지)만으로도 빠른 훈련 시간 내에 효과적인 영역 전이를 달성할 수 있음을 보여줍니다.
기존 스타일 전이 방식의 한계점인 대량 데이터 및 긴 훈련 시간 문제를 해결하는 효율적인 대안을 제시합니다.
제안된 방법이 수술 중 내비게이션의 정확도 향상에 기여할 수 있음을 시사합니다.
새로운 구조 일관성 손실 함수를 통해 전이된 이미지의 안정성을 높였습니다.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 검증이 필요합니다. 다양한 환경 및 데이터셋에 대한 실험 결과가 제한적입니다.
실제 수술 환경에서의 실시간 성능 평가가 부족합니다.
다양한 종류의 내강 병변에 대한 적용 가능성에 대한 추가적인 연구가 필요합니다.
👍