본 논문에서는 병리학적 진단의 정확성과 효율성을 높이기 위해, 대규모 비전-언어 모델(LVLM)을 기반으로 한 새로운 병리학 전문 모델 OmniPath를 제안합니다. 기존의 순수 비전 모델이 가지는 중복된 특징 추출 문제와 기존 LVLM의 입력 해상도 제한 문제를 해결하기 위해, 두 가지 혁신적인 전략을 제시합니다. 첫째, 과제 지향적인 혼합 특징 향상 전략을 통해 다양한 스케일에서 병변 관련 세부 정보에 대한 특징 추출을 유도하고, 둘째, 프롬프트 지향적인 세부 특징 완성 전략을 통해 추론 속도 저하 없이 WSI의 거친 및 미세한 특징을 통합합니다. 490,000개의 다양한 병리학 과제(암 검출, 등급 분류, 혈관 및 신경 침윤 식별 등) 샘플로 구성된 종합 데이터셋을 사용하여 OmniPath를 훈련하였으며, 광범위한 실험을 통해 기존 방법보다 진단 정확도와 효율성이 크게 향상됨을 보여줍니다. OmniPath는 다양한 병리학 응용 분야에서 보조 진단을 위한 상호 작용적이고 임상적으로 일치하는 접근 방식을 제공합니다.
