본 논문은 대규모 언어 모델(LLM)이 이력서 심사 및 콘텐츠 조정과 같은 의사결정 과업에 점점 더 많이 사용됨에 따라 특정 관점을 증폭하거나 억압할 수 있는 능력을 갖게 되었다는 점을 배경으로 합니다. 기존 연구에서는 LLM에서 장애 관련 편향이 확인되었지만, LLM이 능력주의(ableism)를 어떻게 개념화하고 텍스트에서 감지하는지에 대해서는 거의 알려진 바가 없습니다. 본 연구는 네 개의 LLM이 자폐인에 대한 미묘한 능력주의를 식별하는 능력을 평가합니다. LLM의 관련 용어 이해와 맥락에서 능력주의적 콘텐츠를 인식하는 효과 사이의 차이를 조사합니다. 연구 결과, LLM은 자폐증 관련 언어를 식별할 수 있지만, 종종 해롭거나 불쾌한 함축을 놓치는 것으로 나타났습니다. 또한, 인간과 LLM 설명의 질적 비교를 수행하여 LLM이 표면적인 키워드 일치에 의존하여 맥락을 잘못 해석하는 경향이 있는 반면, 인간 평가자는 맥락, 화자 정체성 및 잠재적 영향을 고려한다는 것을 발견했습니다. 반면에 LLM과 인간 모두 주석 체계에 동의하여 이진 분류가 LLM 성능 평가에 적합함을 시사하며, 이는 인간 평가자를 포함한 이전 연구 결과와 일치합니다.
