TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation

Thu, 30 Apr 2026 07:51:13 GMT

### 저자

Toms Bergmanis, Martins Kronis, Ingus Janis Pretkalni\c{n}\v{s}, Davis Nicmanis, Je\c{l}izaveta Jelinska, Roberts Rozis, Rinalds Viksna, Marcis Pinnis

### 💡 개요

본 논문은 영어 및 고자원 언어 중심의 학습 데이터로 인해 유럽 언어, 특히 저자원 언어에서 성능이 저하되는 문제를 해결하기 위해 34개 유럽 언어를 대상으로 훈련된 300억 매개변수의 오픈 가중치 기반 모델인 TildeOpen LLM을 제안합니다. 데이터 불균형을 완화하기 위해 데이터셋 업샘플링과 균일 분포 및 자연어 분포를 번갈아 사용하는 커리큘럼 기반 훈련 일정을 결합하였습니다.

### 🔑 시사점 및 한계

- TildeOpen LLM은 적은 컴퓨팅 자원으로도 기존 다국어 LLM 대비 우수한 성능을 보여주며, 특히 발트어, 핀우그리아어, 슬라브어 등 저자원 언어에서 텍스트 생성 및 이해 능력이 뛰어나다는 것을 입증했습니다.

- 인간 평가 결과, TildeOpen LLM은 기존 선도적인 모델 대비 언어적 오류를 최대 10배까지 줄여 언어적 형평성 향상에 기여했습니다.

- 모델 크기나 훈련 데이터 양을 늘리지 않고도 신중한 데이터 큐레이션과 균형 잡힌 훈련 전략이 다국어 모델 품질을 크게 향상시킬 수 있음을 보여줍니다.

- 본 연구에서 제시된 훈련 전략의 일반화 가능성 및 다른 언어군에 대한 적용 가능성에 대한 추가적인 연구가 필요합니다.

[PDF 보기](https://arxiv.org/pdf/2603.08182)