Biomed-DPT는 의료 영상 분류 작업에서 소량 학습 시나리오에 사전 훈련된 시각-언어 모델(VLM)을 적용하는 데 효과적인 프롬프트 학습 패러다임을 개선한 모델입니다. 기존 방법들이 텍스트 프롬프트만 사용한 반면, Biomed-DPT는 의료 영상의 특수 구조(복잡한 해부학적 구조 및 미묘한 병리학적 특징)를 고려하여 지식 강화 이중 모드 프롬프트 조정 기법을 제안합니다. 텍스트 프롬프트 설계에는 템플릿 기반 임상 프롬프트와 대규모 언어 모델(LLM) 기반 도메인 적응 프롬프트를 포함하는 이중 프롬프트를 구성하고, 지식 증류 기법을 통해 도메인 적응 프롬프트에서 임상 지식을 추출합니다. 시각 프롬프트 설계에는 제로 벡터를 소프트 프롬프트로 도입하여 어텐션 재가중치를 활용하여 비진단 영역에 대한 집중과 비중요 병리학적 특징의 인식을 방지합니다. 9가지 모달리티와 10가지 장기를 포함하는 11개의 의료 영상 데이터셋에서 평균 분류 정확도 66.14%를 달성했으며, 기본 클래스에서는 78.06%, 새로운 클래스에서는 75.97%의 성능을 보이며, Context Optimization (CoOp) 방법보다 각각 6.20%, 3.78%, 8.04% 향상된 성능을 보였습니다. 코드는 Github에서 공개되어 있습니다.
