본 논문은 의료 접근성이 낮은 지역에서 안과 진단을 개선하기 위해, 임상 지식을 강화한 새로운 시각-언어 기반 모델인 VisionUnite를 제시한다. VisionUnite는 124만 개의 이미지-텍스트 쌍으로 사전 훈련되었고, 29만 개 이상의 고품질 안저 이미지-텍스트 쌍과 89만 개 이상의 모의 의사-환자 대화 데이터를 포함하는 MMFundus 데이터셋을 사용하여 추가적으로 미세 조정되었다. 실험 결과, VisionUnite는 GPT-4V 및 Gemini Pro와 같은 기존 생성 기반 모델보다 성능이 우수하며, 초급 안과 의사와 비슷한 수준의 진단 능력을 보였다. 다양한 임상 시나리오(개방형 다중 질병 진단, 임상 설명, 환자 상호 작용 등)에서 우수한 성능을 보이며, 초기 안과 질환 선별 검사 도구 및 안과 의사 교육 보조 도구로 활용될 수 있다. 결론적으로 VisionUnite는 진단, 의학교육, 질병 메커니즘 이해에 광범위한 영향을 미치는 안과 분야의 중요한 발전을 의미한다. 소스 코드는 GitHub에서 공개된다.
