본 논문은 자발적인 언어를 이용한 인지장애 자동 평가를 위한 새로운 벤치마크인 CogBench를 제안한다. CogBench는 영어와 중국어를 포함한 세 개의 음성 데이터셋(ADReSSo, NCMMSC2021-AD, CIR-E)을 사용하여 대규모 언어 모델(LLM)의 언어 및 환경 간 일반화 성능을 평가한다. 기존 심층 학습 모델은 도메인 간 전이 시 성능이 크게 저하되는 반면, 사고 과정 프롬프트를 사용한 LLM은 더 나은 적응성을 보이지만 프롬프트 설계에 민감하다는 것을 보여준다. 또한, 저계층 적응(LoRA)을 통한 LLM의 경량 미세 조정이 타겟 도메인에서 일반화 성능을 크게 향상시킨다는 것을 밝혔다. 이 연구는 임상적으로 유용하고 언어적으로 견고한 음성 기반 인지 평가 도구를 구축하는 데 중요한 단계를 제시한다.
시사점, 한계점
•
시사점:
◦
CogBench는 다국어 및 다양한 환경에서의 LLM 기반 인지장애 평가의 일반화 성능을 평가하기 위한 최초의 벤치마크를 제공한다.
◦
사고 과정 프롬프트를 사용한 LLM이 도메인 간 전이에서 기존 심층 학습 모델보다 더 나은 적응성을 보임을 보여준다.
◦
LoRA를 이용한 LLM의 경량 미세 조정이 타겟 도메인에서 일반화 성능을 상당히 향상시킨다.
◦
임상적으로 유용하고 언어적으로 견고한 음성 기반 인지 평가 도구 개발에 중요한 발견을 제시한다.
