본 연구는 대규모 언어 모델(LLM)을 사용하여 다국어 텍스트 품질을 평가하는 새로운 프레임워크인 MTQ-Eval을 제시합니다. MTQ-Eval은 고품질 및 저품질 텍스트의 예시를 학습하여 내부 표현을 조정합니다. 이 모델은 텍스트 품질 선호도 데이터를 자동으로 생성하고 이를 활용하여 오픈 소스 기반 LLM을 훈련합니다. 115개 언어에 걸쳐 수행된 종합적인 평가를 통해 MTQ-Eval의 성능 향상을 입증하였으며, 다운스트림 작업에서도 유의미한 개선을 보였습니다.