본 논문은 의료 영상 질의응답(VQA) 작업에서 환각 문제와 데이터 불균형으로 인한 소수 질병 진단 실패 문제를 겪는 의료 대규모 비전-언어 모델(MLVLMs)의 한계를 해결하기 위해 두 가지 프롬프팅 전략을 제안합니다. 첫 번째 전략은 질의된 병리에 대한 상세한 설명을 제공하고, 두 번째 전략은 저렴한 약한 학습자를 미세 조정하여 특정 지표에서 높은 성능을 달성하고 그 판단을 MLVLM에 텍스트로 제공합니다. MIMIC-CXR-JPG 및 Chexpert 데이터셋에서 실험한 결과, 제안된 방법은 진단 F1 점수를 최대 0.27 향상시켰으며, POPE 지표 기반으로 기존 LVLMs의 위음성 예측을 효과적으로 억제하고 재현율을 약 0.07 향상시켰습니다. 또한, 제안된 프롬프팅 전략은 일반적인 LVLM 영역으로 확장 가능함을 보여줍니다.
