본 논문은 의료 영상 분할에 있어서 기존의 시각 정보만 활용하는 방식의 한계를 극복하고자, 의료진의 진단에 활용되는 풍부한 텍스트 정보를 통합하는 BiPVL-Seg 프레임워크를 제안합니다. 기존의 시각-언어 모델들이 시각 및 텍스트 특징을 독립적으로 처리하여 교차 모달 정렬이 약하다는 점과 의학 용어의 특수성으로 인해 기존 텍스트 인코더의 효과가 제한적이라는 문제점을 해결하기 위해, BiPVL-Seg는 양방향 점진적 융합 아키텍처와 전역-지역 대조 정렬 학습 목표를 도입합니다. 이를 통해 시각 및 텍스트 인코더 간의 단계적 정보 교환을 가능하게 하고, 클래스 및 개념 수준에서 텍스트와 시각 임베딩을 정렬하여 텍스트 인코더의 이해도를 높입니다. 다양한 의료 영상 벤치마크(CT 및 MR 모달리티)에 대한 실험 결과, BiPVL-Seg는 최첨단 방법보다 우수한 성능을 보임을 입증합니다.
