Sign In

SpinalSAM-R1: A Vision-Language Multimodal Interactive System for Spine CT Segmentation

Created by
  • Haebom
Category
Empty

저자

Jiaming Liu, Dingwei Fan, Junyong Zhao, Chunlin Li, Haipeng Si, Liang Sun

개요

척추 질환 진단 및 치료를 위한 핵심 단계인 척추 및 인접 구조물의 CT 영상 해부학적 구조 분할을 수행하는 SpinalSAM-R1 시스템을 제안합니다. 이 시스템은 SAM 모델을 DeepSeek-R1과 통합하여 척추 CT 영상 분할의 어려움을 해결합니다. SpinalSAM-R1은 해부학 기반 어텐션 메커니즘과 자연어 기반 정교화를 가능하게 하는 의미 기반 상호작용 프로토콜을 사용합니다. LoRA를 사용하여 효율적인 적응을 수행하며, 실험 결과는 우수한 분할 성능을 보여줍니다. 또한 PyQt5 기반 대화형 소프트웨어를 개발하여 포인트, 박스, 텍스트 기반 프롬프트를 지원하고, 11가지 임상 작업을 94.3%의 정확도와 800ms 미만의 응답 시간으로 지원합니다.

시사점, 한계점

시사점:
해부학적 구조 분할 문제 해결을 위한 새로운 접근 방식 제시 (SAM 및 DeepSeek-R1 통합).
해부학 기반 어텐션 메커니즘 도입으로 분할 성능 향상.
자연어 기반 상호작용을 통해 사용자 편의성 증대.
효율적인 적응을 위한 LoRA 사용.
실제 임상 적용을 위한 대화형 소프트웨어 개발.
GitHub을 통한 시스템 공개.
한계점:
구체적인 성능 지표 (예: Dice score, IoU) 및 비교 대상 모델에 대한 정보가 부족함.
모델의 일반화 성능에 대한 추가적인 검증 필요.
임상 작업의 종류와 각 작업에 대한 구체적인 설명 부족.
사용된 CT 영상 데이터에 대한 정보 (예: 환자 수, 데이터 수집 방법) 부재.
👍