Script Sensitivity: Benchmarking Language Models on Unicode, Romanized and Mixed-Script Sinhala

작성자

Haebom

카테고리

Empty

저자

Minuri Rajapakse, Ruvan Weerasinghe

💡 개요

본 연구는 저자원 언어인 싱할라어에 대한 언어 모델(LM)의 성능을 유니코드, 로마자 표기, 혼합 스크립트 환경에서 벤치마킹합니다. 24개의 오픈소스 LM을 대상으로 평가한 결과, 모델 크기와 스크립트 처리 능력 간의 상관관계가 없으며, 유니코드에서 로마자 표기로의 성능 저하가 300배 이상 발생하는 상당한 스크립트 민감도를 발견했습니다. 이러한 결과는 단일 스크립트 평가가 실제 환경에서의 문제를 과소평가함을 보여줍니다.

🔑 시사점 및 한계

•

저자원 언어, 특히 싱할라어와 같이 유니코드와 로마자 표기 혼용이 잦은 경우, 언어 모델의 성능이 스크립트 형태에 따라 크게 달라질 수 있음을 보여줍니다.

•

언어 모델의 크기가 클수록 스크립트 처리 능력이 뛰어나다는 일반적인 통념과 달리, 본 연구에서는 오히려 작은 모델이 더 나은 성능을 보일 수도 있음을 시사합니다.

•

유니코드 성능이 혼합 스크립트 환경에서의 강건성을 예측하지만, 로마자 표기 능력과는 직접적인 관련이 없으므로, 실제 적용 시에는 다양한 스크립트 환경에서의 종합적인 평가가 필수적입니다.

•

본 연구는 싱할라어에 대한 LM의 기본 성능을 설정하고 다중 스크립트 저자원 환경에서의 모델 선택에 실질적인 지침을 제공하지만, 평가 지표(perplexithy)의 한계와 더 넓은 범위의 텍스트 소스 및 작업 유형에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage