Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MMedPO: Aligning Medical Vision-Language Models with Clinical-Aware Multimodal Preference Optimization

Created by
  • Haebom

저자

Kangyu Zhu, Peng Xia, Yun Li, Hongtu Zhu, Sheng Wang, Huaxiu Yao

개요

본 논문은 의료 영상과 텍스트를 함께 처리하는 대규모 시각-언어 모델(Med-LVLM)의 사실성 문제를 해결하기 위해, 의학적 관련성을 고려한 다중 모드 선호도 최적화 기법인 MMedPO를 제안합니다. 기존 선호도 최적화 방법들이 임상적 관련성이 낮은 데이터로 인해 효과가 제한적이었던 점을 개선하고자, MMedPO는 (1) 의학적으로 부정확한 응답을 생성하는 방식으로 주입된 그럴듯한 환각, (2) 병변 영역을 훼손하여 시각적 이해를 방해하는 병변 노이즈를 활용하여 다중 모드 선호도 데이터를 구성합니다. 여러 Med-LLM과 시각적 도구를 이용하여 각 샘플의 임상적 관련성 점수를 계산하고, 이를 선호도 최적화 과정에 가중치로 통합하여 효과적인 정렬을 달성합니다. 실험 결과, MMedPO는 Med-VQA 및 보고서 생성 작업에서 기존 방법 대비 평균 14.2% 및 51.7%의 상당한 사실 정확도 향상을 보였습니다. 코드는 https://github.com/aiming-lab/MMedPO 에서 확인할 수 있습니다.

시사점, 한계점

시사점:
의료 영상과 텍스트의 모달리티 불일치로 인한 Med-LVLM의 환각 문제를 효과적으로 해결하는 새로운 방법 제시.
임상적 관련성을 고려한 다중 모드 선호도 최적화를 통해 Med-LVLM의 사실 정확도를 크게 향상시킴.
Med-VQA 및 보고서 생성 작업에서 기존 방법 대비 상당한 성능 향상을 입증.
공개된 코드를 통해 재현성 및 확장성 확보.
한계점:
제안된 방법의 성능 평가는 특정 데이터셋과 작업에 국한되어 일반화 가능성에 대한 추가 연구 필요.
임상적 관련성 점수 계산에 사용된 Med-LLM과 시각적 도구의 신뢰성 및 한계 고려 필요.
다양한 의료 영상 유형 및 질병에 대한 일반화 성능 검증 필요.
👍