본 논문은 의료 분야, 특히 구조화된 시계열 데이터(예: 검사 결과)와 비구조화된 임상 노트를 통합하는 데 있어 대규모 언어 모델(LLM)의 활용 가능성을 탐구합니다. 기존의 연속 신호와 불연속 텍스트 간의 차이로 인한 통합의 어려움을 해결하기 위해, 본 연구는 프롬프트 기반 학습을 활용한 새로운 자기 지도 다중 모달 프레임워크인 ProMedTS를 제안합니다. ProMedTS는 경량 이상 탐지 기법을 통해 이상 현상 캡션을 생성하여 프롬프트로 사용하고, 이를 통해 원시 시계열 데이터를 정보가 풍부한 프롬프트 임베딩으로 변환합니다. 이렇게 생성된 프롬프트 임베딩은 공유잠재공간에서 텍스트 표현과 정렬되어, 미세한 시간적 뉘앙스와 의미적 통찰력을 모두 보존합니다. 또한, 모달 내 및 모달 간 정렬을 향상시키기 위해 맞춤형 자기 지도 목표를 통합합니다. 실제 의료 데이터셋을 사용한 질병 진단 작업에서 ProMedTS는 기존 최첨단 방법보다 우수한 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
의료 분야에서 구조화된 시계열 데이터와 비구조화된 임상 노트를 효과적으로 통합하는 새로운 방법 제시.
