본 논문은 대규모 언어 모델(LLM)이 표준 미국 영어(SAE)에 주로 평가되어 전 세계 영어 변이의 다양성을 간과한다는 점을 지적한다. 이러한 좁은 초점은 비표준 변이에서 성능 저하로 이어져 전 세계 사용자에게 불평등한 혜택을 초래할 수 있으므로, 다양한 비표준 영어 변이에 대한 LLM의 언어적 견고성을 광범위하게 평가하는 것이 중요하다고 강조한다. 이를 위해, SAE 데이터 세트를 여러 영어 변이로 자동 변환하는 프레임워크인 Trans-EnV를 제시한다. Trans-EnV는 언어학 전문가의 지식과 LLM 기반 변환을 결합하여 언어적 타당성과 확장성을 보장하며, 6개의 벤치마크 데이터 세트를 38개의 영어 변이로 변환하고 7개의 최신 LLM을 평가한다. 연구 결과, 비표준 변이에서 최대 46.3%의 정확도 감소가 나타났으며, 이는 다양한 영어 변이에 대한 포괄적인 언어적 견고성 평가의 중요성을 강조한다. Trans-EnV의 각 구성은 엄격한 통계 테스트와 제2 언어 습득 분야의 연구자와의 협의를 통해 검증되었다.
