기존 Vision-Language Pre-training (VLP) 접근 방식은 특징 추출과 교차 모달 이해에 중점을 두고 시각적 콘텐츠 생성이나 변환에는 제한적으로 접근하여 다모달 학습의 효율성을 떨어뜨리는 한계가 있습니다. 본 논문에서는 의료 데이터에 맞춘 통합 VLP 프레임워크인 MedUnifier를 제안합니다. MedUnifier는 이미지-텍스트 대조 정렬, 이미지-텍스트 매칭, 이미지 기반 텍스트 생성 등의 다모달 학습 전략과 함께 텍스트 기반 이미지 생성 기능을 통합합니다. 기존의 연속적인 시각적 표현에 의존하는 방법과 달리, 시각적 벡터 양자화를 사용하여 교차 모달 이해를 위한 보다 일관된 학습 전략을 용이하게 하고, 이산적 표현을 효과적으로 활용하여 다모달 생성 품질을 향상시킵니다. 단일 모달 작업(지도 학습 미세 조정), 교차 모달 작업(이미지-텍스트 검색 및 제로샷 이미지 분류), 다모달 작업(의료 보고서 생성, 이미지 합성)을 포함한 기존 벤치마크에서 최첨단 성능을 달성하여 프레임워크의 효과를 입증했습니다. MedUnifier는 의료 분야의 다양한 언어 및 비전 작업에 대한 매우 적응력이 뛰어난 도구를 제공하며, 의료 응용 프로그램을 위한 일반화 가능한 AI 모델 개발을 향한 발전을 나타냅니다.
