Endo-TTAP: Robust Endoscopic Tissue Tracking via Multi-Facet Guided Attention and Hybrid Flow-point Supervision
Created by
Haebom
저자
Rulin Zhou, Wenlong He, An Wang, Qiqi Yao, Haijun Hu, Jiankun Wang, Xi Zhang an Hongliang Ren
개요
Endo-TTAP은 내시경 비디오에서 조직 점 추적의 정확도를 높이기 위한 새로운 프레임워크입니다. 복잡한 변형, 기구 가림, 밀집된 궤적 주석 부족 등의 어려움을 해결하기 위해 다중 측면 유도 주의(MFGA) 모듈과 2단계 교육 과정 학습 전략을 사용합니다. MFGA 모듈은 다중 스케일 흐름 역학, DINOv2 의미적 임베딩, 명시적 동작 패턴을 통합하여 불확실성과 가림 인식을 고려하여 점 위치를 예측합니다. 2단계 교육 과정 학습 전략은 보조 교육 과정 어댑터(ACA)를 사용하여 점진적 초기화와 혼합 감독을 수행합니다. 1단계는 광학 흐름 기준 진실을 가진 합성 데이터를 사용하여 불확실성-가림 규제를 수행하고, 2단계는 기존 추적기의 개선된 의사 레이블을 사용하여 비지도 흐름 일관성과 준지도 학습을 결합합니다. 두 개의 MICCAI Challenge 데이터셋과 연구팀이 수집한 데이터셋에 대한 광범위한 검증을 통해 Endo-TTAP이 특히 복잡한 내시경 조건에서 최첨단 성능을 달성함을 보여줍니다. 소스 코드와 데이터셋은 링크에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
복잡한 내시경 조건에서 조직 점 추적의 정확도를 크게 향상시켰습니다.
◦
다중 측면 유도 주의 모듈과 2단계 교육 과정 학습 전략을 통해 기존 방법의 한계를 극복했습니다.
