Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Grounding DINO-US-SAM: Text-Prompted Multi-Organ Segmentation in Ultrasound with LoRA-Tuned Vision-Language Models

Created by
  • Haebom

저자

Hamza Rasaee, Taha Koleilat, Hassan Rivaz

개요

본 논문은 초음파 영상에서의 정확하고 일반화 가능한 객체 분할이 해부학적 변이, 다양한 영상 프로토콜, 제한된 주석 데이터로 인해 어려움을 겪고 있다는 점을 지적하며, 이 문제를 해결하기 위해 Grounding DINO와 SAM2를 통합한 프롬프트 기반 시각-언어 모델(VLM)을 제안합니다. 유방, 갑상선, 간, 전립선, 신장, 척추 주변 근육 등 18개의 공개 초음파 데이터셋을 사용하여, 15개 데이터셋으로 Grounding DINO를 Low Rank Adaptation (LoRA)을 이용하여 초음파 영역에 미세 조정하고 검증하였고, 나머지 3개 데이터셋은 미지의 분포에서 성능을 평가하기 위해 테스트에 사용했습니다. 실험 결과, 제안된 방법은 UniverSeg, MedSAM, MedCLIP-SAM, BiomedParse, SAMUS 등 최첨단 분할 방법들을 대부분의 기존 데이터셋에서 능가하며, 추가적인 미세 조정 없이 미지의 데이터셋에서도 강력한 성능을 유지함을 보여줍니다. 이러한 결과는 VLM이 확장 가능하고 견고한 초음파 영상 분석에 유망함을 강조하며, 대규모의 장기 특이적 주석 데이터에 대한 의존성을 줄일 수 있음을 시사합니다. 코드는 수락 후 code.sonography.ai에 공개될 예정입니다.

시사점, 한계점

시사점:
Grounding DINO와 SAM2를 통합한 VLM을 이용하여 다양한 초음파 장기에서의 객체 분할 성능 향상.
최첨단 방법들을 능가하는 성능 달성.
미지의 데이터셋에서도 강력한 성능 유지 (추가 미세 조정 없이).
대규모의 장기 특이적 주석 데이터에 대한 의존성 감소.
확장 가능하고 견고한 초음파 영상 분석 가능성 제시.
한계점:
제공된 데이터셋의 종류와 분포에 대한 자세한 설명 부족.
LoRA를 사용한 미세 조정의 세부적인 과정 및 하이퍼파라미터에 대한 정보 부족.
code.sonography.ai에 코드 공개 예정이지만, 아직 공개되지 않음.
실험 결과의 일반화 가능성에 대한 추가적인 검증 필요.
👍