본 논문은 의료 영상과 텍스트를 함께 처리하는 대규모 시각 언어 모델(Med-LVLMs)의 사실성 문제를 해결하기 위해 새로운 다중 모달 의료 선호도 최적화 방법인 MMedPO를 제안합니다. Med-LVLMs는 모달 정렬 문제로 인해 의료 이미지의 정보와 모순되는 환각을 생성하는데, 기존의 선호도 최적화 방법은 임상적 관련성이 낮은 데이터를 사용하여 효과가 제한적이었습니다. MMedPO는 임상적 관련성이 높은 다중 모달 선호도 데이터를 생성하기 위해, (1) 의학적으로 부정확한 응답을 생성하는 환각 주입 및 (2) 병변 영역의 노이즈를 통한 시각적 이해 방해라는 두 가지 유형의 비선호도를 도입합니다. 여러 Med-LLMs 및 시각적 도구를 이용하여 각 샘플의 임상적 관련성 점수를 계산하고, 이를 선호도 최적화 과정에 가중치로 통합하여 효과적인 모달 정렬을 달성합니다. 실험 결과, MMedPO는 기존 방법 대비 Med-VQA 및 보고서 생성 작업에서 각각 평균 14.2% 및 51.7%의 성능 향상을 보이며 Med-LVLMs의 사실 정확도를 크게 향상시켰습니다. 코드는 https://github.com/aiming-lab/MMedPO 에서 확인할 수 있습니다.
