Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation

Created by
  • Haebom
Category
Empty

저자

Kun Yuan, Vinkle Srivastav, Nassir Navab, Nicolas Padoy

개요

수술 영상-언어 사전 학습(VLP)은 지식 영역 간격과 다중 모달 데이터 부족으로 인해 고유한 과제에 직면합니다. 본 연구는 수술 강의 비디오에서의 텍스트 정보 손실 및 수술 VLP의 공간-시간적 과제를 해결하여 이 간격을 해소하는 것을 목표로 합니다. 이러한 문제를 해결하기 위해 계층적 지식 증강 접근 방식과 새로운 절차 인코딩 수술 지식 증강 비디오-언어 사전 학습(PeskaVLP) 프레임워크를 제안합니다. 지식 증강은 대규모 언어 모델(LLM)을 사용하여 수술 개념을 개선하고 풍부하게 하여 포괄적인 언어 감독을 제공하고 과적합 위험을 줄입니다. PeskaVLP는 언어 감독과 시각적 자기 감독을 결합하여 하드 네거티브 샘플을 구성하고 Dynamic Time Warping(DTW) 기반 손실 함수를 사용하여 교차 모달 절차 정렬을 효과적으로 이해합니다. 여러 공개 수술 장면 이해 및 교차 모달 검색 데이터 세트에 대한 광범위한 실험은 제안된 방법이 제로샷 전이 성능을 크게 향상시키고 수술 장면 이해의 추가 발전을 위한 일반적인 시각적 표현을 제공함을 보여줍니다. 코드는 https://github.com/CAMMA-public/SurgVLP 에서 이용 가능합니다.

시사점, 한계점

•
시사점:
◦
수술 영상-언어 사전 학습에서의 지식 영역 간격과 다중 모달 데이터 부족 문제 해결에 기여.
◦
계층적 지식 증강과 PeskaVLP 프레임워크를 통해 제로샷 전이 성능을 크게 향상.
◦
수술 장면 이해를 위한 일반적인 시각적 표현 제공.
◦
LLM을 활용한 수술 개념의 정제 및 풍부화를 통한 포괄적인 언어 감독 제공.
◦
DTW 기반 손실 함수를 통한 효과적인 교차 모달 절차 정렬 이해.
•
한계점:
◦
본 논문에서 제시된 방법의 일반화 성능에 대한 추가적인 검증 필요.
◦
다양한 수술 유형 및 환경에 대한 적용성 평가 필요.
◦
사용된 LLM 및 데이터 세트의 특성에 따른 결과의 편향성 고려 필요.
◦
PeskaVLP 프레임워크의 계산 비용 및 효율성에 대한 분석 필요.
👍
Made with Slashpage