Trans-EnV: A Framework for Evaluating the Linguistic Robustness of LLMs Against English Varieties
Created by
Haebom
저자
Jiyoung Lee, Seungho Kim, Jieun Han, Jun-Min Lee, Kitaek Kim, Alice Oh, Edward Choi
개요
본 논문은 대규모 언어 모델(LLM)의 평가가 주로 표준 미국 영어(SAE)에 집중되어 있어 전 세계 다양한 영어 변종 사용자 간 불평등한 혜택을 초래할 수 있는 공정성 문제를 제기한다는 점을 지적합니다. 이를 해결하기 위해, 다양한 비표준 영어 변종에서 LLM의 언어적 견고성을 평가하는 프레임워크인 Trans-EnV를 제시합니다. Trans-EnV는 언어학 전문가의 지식과 LLM 기반 변환을 결합하여 SAE 데이터셋을 여러 영어 변종으로 변환합니다. 6개의 벤치마크 데이터셋을 38개의 영어 변종으로 변환하여 7개의 최첨단 LLM을 평가한 결과, 비표준 변종에서 최대 46.3%의 정확도 감소를 발견했습니다. 이는 다양한 영어 변종에 대한 포괄적인 언어적 견고성 평가의 중요성을 강조합니다. Trans-EnV의 각 구성은 엄격한 통계적 검정과 제2언어 습득 분야 연구자와의 협의를 통해 검증되었습니다. 코드와 데이터셋은 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
LLM의 공정성 문제를 해결하기 위해 다양한 영어 변종에 대한 평가의 중요성을 강조합니다.
◦
Trans-EnV 프레임워크를 통해 다양한 영어 변종에서 LLM의 성능을 효율적으로 평가할 수 있습니다.
◦
비표준 영어 변종에서 LLM의 성능 저하를 명확히 보여주어 향후 연구 방향을 제시합니다.
◦
공개된 코드와 데이터셋을 통해 다른 연구자들의 후속 연구를 지원합니다.
•
한계점:
◦
Trans-EnV의 변환 정확도 및 일반화 성능에 대한 추가적인 검증이 필요할 수 있습니다.
