본 논문은 의료 영상 생성 분야에서 텍스트 기반 이미지 합성의 두 가지 접근 방식, 즉 대규모 사전 훈련된 확산 모델의 미세 조정과 소규모 도메인 특화 모델의 훈련을 비교 분석합니다. 특히, 의료 텍스트 프롬프트와 생성된 이미지의 정렬을 개선하기 위해 임상 텍스트 인코더, 변분 오토인코더 및 크로스 어텐션 메커니즘을 통합한 새로운 모델 MSDM을 제시합니다. 대규모 모델(FLUX, Kandinsky)의 미세 조정과 소규모 도메인 특화 모델(MSDM)의 훈련을 비교 분석한 결과, 대규모 모델이 더 높은 충실도를 달성하지만, MSDM은 낮은 계산 비용으로 비슷한 수준의 이미지 품질을 제공함을 보여줍니다. 대장내시경(MedVQA-GI) 및 방사선학(ROCOv2) 데이터셋을 사용하여 정량적 및 질적 평가를 수행하여 각 접근 방식의 강점과 한계를 밝힙니다.
