National Institute on Aging PREPARE Challenge: Early Detection of Cognitive Impairment Using Speech - The SpeechCARE Solution
Created by
Haebom
Category
Empty
저자
Maryam Zolnoori, Hossein Azadmaleki, Yasaman Haghbin, Ali Zolnour, Mohammad Javad Momeni Nezhad, Sina Rashidi, Mehdi Naserian, Elyas Esmaeili, Sepehr Karimi Arpanahi
개요
SpeechCARE는 알츠하이머병 및 관련 치매(ADRD) 조기 진단을 위해 사전 훈련된 다국어 음향 및 언어 변환기 모델을 활용하는 다중 모달 음성 처리 파이프라인입니다. 음성 관련 단서를 포착하기 위해 동적 융합 아키텍처를 사용하여 다양한 변환기 기반 입력(음향, 언어, 인구 통계)을 가중합니다. 자동 전사, LLM 기반 이상 감지 및 작업 식별과 같은 강력한 전처리를 포함하며, SHAP 기반 설명 가능성 모듈과 LLM 추론을 사용하여 각 모달리티의 기여도를 강조합니다. MCI 및 AD 환자 분류에서 AUC = 0.88 및 F1 = 0.72, MCI 감지에서 AUC = 0.90 및 F1 = 0.62를 달성했습니다.