BronchOpt : Vision-Based Pose Optimization with Fine-Tuned Foundation Models for Accurate Bronchoscopy Navigation
Created by
Haebom
Category
Empty
저자
Hongchao Shu, Roger D. Soberanis-Mukul, Jiru Xu, Hao Ding, Morgan Ringel, Mali Shen, Saif Iftekar Sayed, Hedyeh Rafii-Tari, Mathias Unberath
개요
기관지경 검사 중 환자 해부학에 대한 기관지경 팁의 정확한 위치 파악은 호흡 운동, 해부학적 가변성, 수술 중 시야와 수술 전 CT 간의 변형 및 정렬 불일치로 인해 어려운 문제로 남아 있습니다. 이 연구는 강력한 시각 기반 프레임워크와 표준화되고 재현 가능한 평가를 가능하게 하는 새로운 합성 벤치마크 데이터셋을 통해 기관지경 검사 네비게이션을 위한 일반화 가능한 기반을 구축합니다. 이 연구는 수술 중 내시경 시야와 수술 전 CT 해부학 간의 프레임별 2D-3D 등록을 위한 시각 기반 자세 최적화 프레임워크를 제안합니다. 미세 조정된 모달리티 및 도메인 불변 인코더는 실제 내시경 RGB 프레임과 CT 렌더링된 깊이 맵 간의 직접적인 유사성 계산을 가능하게 하는 반면, 차등 렌더링 모듈은 깊이 일관성을 통해 카메라 자세를 반복적으로 개선합니다. 재현성을 높이기 위해, 짝을 이룬 CT-내시경 데이터를 갖춘 최초의 공개 합성 벤치마크 데이터셋을 도입합니다. 벤치마크와는 별개의 합성 데이터로만 훈련된 이 모델은 평균 병진 오류 2.65mm 및 회전 오류 0.19rad를 달성하여 정확하고 안정적인 위치 파악을 보여줍니다. 실제 환자 데이터에 대한 질적 결과는 도메인 특정 적응 없이 일관된 프레임별 2D-3D 정렬을 달성하여 강력한 교차 도메인 일반화를 추가로 확인합니다. 전반적으로, 제안된 프레임워크는 반복적인 시각 기반 최적화를 통해 강력하고 도메인 불변의 위치 파악을 달성하는 반면, 새로운 벤치마크는 시각 기반 기관지경 검사 네비게이션의 표준화된 발전을 위한 기반을 제공합니다.
시사점, 한계점
•
시사점:
◦
강력하고 도메인 불변의 기관지경 검사 위치 파악 프레임워크 제안.
◦
새로운 합성 벤치마크 데이터셋을 도입하여 표준화된 평가를 가능하게 함.
◦
실제 환자 데이터에 대한 강한 교차 도메인 일반화 성능 입증.
◦
평균 병진 오류 2.65mm 및 회전 오류 0.19rad로 정확하고 안정적인 위치 파악 달성.
