Enhancing the Safety of Medical Vision-Language Models by Synthetic Demonstrations

Created by

Haebom

저자

Zhiyu Xue, Reza Abbasi-Asl, Ramtin Pedarsani

💡 개요

의료 비전-언어 모델(Med-VLMs)은 의료 영상과 텍스트를 종합하여 진단 보고서와 같은 복잡한 정보를 생성하지만, 보안 취약점이 간과되고 있습니다. 본 연구는 보험 사기를 위한 CT 스캔 활용법을 묻는 등 유해한 질의를 거부하면서도 정상적인 임상 질의에 대한 성능 저하를 최소화하는 새로운 추론 시점 방어 전략을 제안합니다. 합성 임상 데모를 활용한 이 방어 전략은 모델의 안전성을 향상시키면서도 성능 저하를 크게 줄이는 것으로 입증되었습니다.

🔑 시사점 및 한계

•

합성 임상 데모를 활용한 추론 시점 방어 전략은 의료 비전-언어 모델의 보안성을 향상시키는 효과적인 방법임을 보여줍니다.

•

방어 전략 설계 시 과도한 방어가 일반 성능을 저하시키는 문제를 완화하기 위해 데모 예산 증가 또는 혼합 데모 전략이 유용함을 제시합니다.

•

실제 임상 환경에서의 다양한 공격 시나리오에 대한 포괄적인 방어 능력 검증 및 다양한 모델 아키텍처에서의 적용 가능성 탐구가 향후 과제로 남아 있습니다.

PDF 보기

Made with Slashpage