본 논문은 의료 영상 질의응답(VQA) 과제에서 환각 문제와 불균형 데이터로 인한 소수 질병 진단 실패 문제를 해결하기 위해 의료용 거대 비전-언어 모델(MLVLMs)에 대한 두 가지 프롬프팅 전략을 제안합니다. 첫 번째 전략은 질의된 병리에 대한 자세한 설명을 제공하는 것이고, 두 번째 전략은 특정 지표에 대해 성능이 높은 저렴한 약한 학습자를 미세 조정하여 그 판단을 MLVLM에 텍스트로 제공하는 것입니다. MIMIC-CXR-JPG 및 Chexpert 데이터셋에서 실험한 결과, 제안된 방법은 진단 F1 점수를 최대 0.27까지 향상시켰으며, POPE 지표 기반으로 기존 LVLMs의 위음성 예측을 효과적으로 억제하고 재현율을 약 0.07 향상시켰습니다. 또한, 제안된 프롬프팅 전략은 일반적인 LVLMs에도 적용 가능함을 보였습니다.
