End to End AI System for Surgical Gesture Sequence Recognition and Clinical Outcome Prediction
Created by
Haebom
Category
Empty
저자
Xi Li, Nicholas Matsumoto, Ujjwal Pasupulety, Atharva Deo, Cherine Yang, Jay Moran, Miguel E. Hernandez, Peter Wager, Jasmine Lin, Jeanine Kim, Alvin C. Goh, Christian Wagner, Geoffrey A. Sonn, Andrew J. Hung
개요
Frame-to-Outcome (F2O)은 조직 박리 비디오를 제스처 시퀀스로 변환하고 수술 후 결과와 관련된 패턴을 발견하는 시스템입니다. Transformer 기반의 공간 및 시간 모델링과 프레임 단위 분류를 활용하여 로봇 보조 근치적 전립선 절제술의 신경 보존 단계에서 짧은 제스처를 감지합니다. F2O에서 파생된 제스처 특징은 수술 후 결과를 예측하며, 사람의 주석과 유사한 정확도를 보입니다. 또한 발기 기능 회복과 관련된 주요 패턴(조직 박리 연장 및 에너지 사용 감소)을 포착했습니다.
시사점, 한계점
•
자동 해석 가능한 평가를 통해 데이터 기반 수술 피드백 및 잠재적 임상 의사 결정 지원의 기반을 마련했습니다.