본 논문은 다양한 의료 데이터(영상, 언어, 시계열, 그래프)를 통합한 대규모 다중 모달 임상 벤치마크인 CLIMB(Clinical Large-Scale Integrative Multimodal Benchmark)를 소개합니다. CLIMB는 451만 명의 환자 샘플(총 19.01테라바이트)을 포함하며, 다양한 모달리티의 데이터를 통합하여 환자의 건강과 웰빙에 대한 종합적인 평가를 가능하게 합니다. 실험 결과, 다중 작업 사전 학습은 연구가 부족한 영역(초음파, 심전도 분석 등)에서 성능을 최대 29%까지 향상시키는 것으로 나타났으며, CLIMB에서의 사전 학습은 새로운 과제에 대한 모델의 일반화 능력을 효과적으로 향상시키고, 강력한 단일 모달 인코더 성능은 적절한 융합 전략과 함께 다중 모달 성능으로 잘 전환됨을 보여줍니다. 이는 임상 AI 연구 발전을 위한 새로운 아키텍처 설계 및 사전 학습 전략에 대한 기반을 제공합니다. 코드는 GitHub에서 공개됩니다.
