The Text Aphasia Battery (TAB): A Clinically-Grounded Benchmark for Aphasia-Like Deficits in Language Models
Created by
Haebom
Category
Empty
저자
Nathan Roll, Jill Kries, Flora Jin, Catherine Wang, Ann Marie Finley, Meghan Sumner, Cory Shain, Laura Gwilliams
개요
본 논문은 대규모 언어 모델(LLM)에서 실어증과 유사한 결함을 평가하기 위해 Quick Aphasia Battery (QAB)를 기반으로 한 텍스트 기반 벤치마크인 Text Aphasia Battery (TAB)를 소개합니다. TAB는 Connected Text, Word Comprehension, Sentence Comprehension, Repetition의 네 가지 하위 테스트로 구성됩니다. 저자들은 Gemini 2.5 Flash를 사용하여 자동화된 평가 프로토콜을 개발하고 검증하여, 인간 평가자와 유사한 신뢰도를 달성했습니다.
시사점, 한계점
•
시사점:
◦
LLM에서 언어적 결함을 연구하기 위한 임상적으로 근거 있고 확장 가능한 프레임워크 제공.
◦
실어증 연구에 대한 LLM의 활용 가능성 제시.
◦
자동화된 평가 프로토콜을 통해 대규모 사용 용이성 확보.
•
한계점:
◦
모델과 합의 간의 일치도(prevalence-weighted Cohen's kappa = 0.255)가 인간-인간 일치도(0.286)보다 약간 낮음.
