본 논문은 의료 시계열-텍스트 다중 모달 학습에서 최근 급속도로 발전하고 있는 언어 모델(LM)의 한계를 지적하며, 기존의 대조 학습 기반 및 프롬프트 기반 LM 접근 방식이 시계열 모달리티를 우선시하고 텍스트 모달리티를 부차적으로 다루는 경향이 있음을 밝힙니다. 이러한 접근 방식을 시간 우선적 패러다임으로 분류하고, 이는 임상 보고서와 같은 텍스트 모달리티에 내재된 고유하고 중요한 작업 관련 정보를 간과하여 다양한 모달리티의 상호 이점과 상호 보완성을 완전히 활용하지 못할 수 있음을 지적합니다. 이러한 한계를 해결하기 위해, 본 논문은 어떤 모달리티든 주요 모달리티로 활용하면서 다른 모달리티에 의해 향상될 수 있는 새로운 텍스트-시간 다중 모달 학습 패러다임을 제시합니다. 구체적으로, 시간 우선적 및 텍스트 우선적 모델링을 동시에 구현하는 이중 어댑터로 구성된 언어 모델 MedualTime을 설계했습니다. 각 어댑터 내에서 경량 적응 토큰을 LM 상위 계층에 주입하여 고차원 모달리티 융합을 장려합니다. 이중 어댑터에 의한 공유 LM 파이프라인은 어댑터 정렬을 달성할 뿐만 아니라 효율적인 미세 조정을 가능하게 하여 계산 자원을 절감합니다. 실험적으로 MedualTime은 의료 데이터에서 우수한 성능을 보이며, 지도 학습 환경에서 정확도 8%, F1 점수 12%의 눈에 띄는 향상을 달성했습니다. 또한, MedualTime의 전이성은 조립형 의료 데이터에서 세분화된 의료 데이터로의 소량 샷 레이블 전이 실험을 통해 검증되었습니다.
