Trans-EnV: A Framework for Evaluating the Linguistic Robustness of LLMs Against English Varieties
Created by
Haebom
저자
Jiyoung Lee, Seungho Kim, Jieun Han, Jun-Min Lee, Kitaek Kim, Alice Oh, Edward Choi
개요
본 논문은 대규모 언어 모델(LLM)의 평가가 주로 표준 미국 영어(SAE)에 집중되어 전 세계 다양한 영어 변종을 간과하고 있다는 문제를 제기합니다. 이러한 좁은 초점은 비표준 영어 변종에 대한 성능 저하로 인해 전 세계 사용자 간 불평등한 혜택을 초래할 수 있으므로 공정성 문제를 야기할 수 있습니다. 따라서 다양한 비표준 영어 변종에 대한 LLM의 언어적 강건성을 광범위하게 평가하는 것이 중요합니다. 이를 위해 연구진은 SAE 데이터셋을 여러 영어 변종으로 자동 변환하여 언어적 강건성을 평가하는 프레임워크인 Trans-EnV를 제시합니다. Trans-EnV는 언어학 전문가의 지식과 LLM 기반 변환을 결합하여 언어적 타당성과 확장성을 모두 보장합니다. Trans-EnV를 사용하여 6개의 벤치마크 데이터셋을 38개의 영어 변종으로 변환하고 7개의 최첨단 LLM을 평가한 결과, 비표준 변종에서 최대 46.3%의 정확도 감소가 발생하는 등 상당한 성능 차이가 나타났습니다. 이러한 결과는 다양한 영어 변종에 대한 포괄적인 언어적 강건성 평가의 중요성을 강조합니다. Trans-EnV의 각 구성 요소는 엄격한 통계적 검정과 제2언어 습득 분야 연구자와의 협의를 통해 언어적 타당성을 검증했습니다. 코드와 데이터셋은 공개적으로 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
LLM의 언어적 강건성 평가에 있어 표준 영어 중심적 접근의 한계를 명확히 제시.
◦
다양한 영어 변종에 대한 LLM 성능 저하를 정량적으로 측정하고, 그 심각성을 보여줌.
◦
Trans-EnV 프레임워크를 통해 다양한 영어 변종에 대한 LLM 평가를 위한 효율적인 방법 제시.
