Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Speech-Based Cognitive Screening: A Systematic Evaluation of LLM Adaptation Strategies

Created by
  • Haebom

저자

Fatemeh Taherinezhad, Mohamad Javad Momeni Nezhad, Sepehr Karimi, Sina Rashidi, Ali Zolnour, Maryam Dadkhah, Yasaman Haghbin, Hossein AzadMaleki, Maryam Zolnoori

개요

미국 성인 알츠하이머병 및 관련 치매 환자의 절반 이상이 진단을 받지 못하고 있으며, 음성 기반 선별 검사가 확장 가능한 접근 방식을 제공한다. 본 연구는 DementiaBank 음성 코퍼스를 사용하여 치매 감지를 위한 대규모 언어 모델 적응 전략을 비교했다. 9개의 텍스트 전용 모델과 3개의 멀티모달 오디오-텍스트 모델을 평가했으며, 적응 전략에는 다양한 시연 선택 정책을 사용한 문맥 내 학습, 추론 기반 프롬프팅, 매개변수 효율적 미세 조정, 멀티모달 통합 등이 포함되었다. 결과는 class-centroid 시연이 가장 높은 문맥 내 학습 성능을 달성했으며, 추론이 더 작은 모델을 개선하고, 토큰 수준의 미세 조정이 일반적으로 최고의 점수를 냈음을 보여주었다. 분류 헤드를 추가하면 성능이 저조한 모델이 크게 개선되었다. 멀티모달 모델 중에서는 미세 조정된 오디오-텍스트 시스템이 좋은 성과를 거두었지만, 최고의 텍스트 전용 모델을 능가하지는 못했다.

시사점, 한계점

시연 선택, 추론 설계, 조정 방법을 포함한 모델 적응 전략이 음성 기반 치매 감지에 중요한 영향을 미친다.
적절하게 적응된 공개 가중치 모델은 상업용 시스템과 동등하거나 능가할 수 있다.
Class-centroid 시연이 문맥 내 학습에서 가장 높은 성능을 보였다.
추론은 더 작은 모델의 성능을 향상시켰다.
토큰 수준의 미세 조정이 일반적으로 가장 좋은 결과를 냈다.
분류 헤드 추가는 성능이 저조한 모델을 개선했다.
미세 조정된 오디오-텍스트 시스템은 좋은 성과를 거두었지만, 텍스트 전용 모델을 능가하지 못했다.
👍