Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From Unaligned to Aligned: Scaling Multilingual LLMs with Multi-Way Parallel Corpora

Created by
  • Haebom

저자

Yingli Shen, Wen Lai, Shuo Wang, Ge Gao, Kangyang Luo, Alexander Fraser, Maosong Sun

개요

본 논문은 저자원 언어에 대한 대규모 언어 모델(LLM)의 성능 향상을 위해 다국어 병렬 데이터의 활용에 초점을 맞추고 있습니다. 기존의 비정렬 다국어 데이터를 사용한 사전 학습 및 지시 조정 방식의 한계를 지적하며, 다중 언어 병렬 데이터, 특히 TED Talks를 기반으로 구축된 113개 언어를 포함하는 대규모 고품질 다중 언어 병렬 말뭉치 TED2025를 제시합니다. TED2025를 이용하여 지속적인 사전 학습, 지시 조정 등의 전략을 통해 LLM의 성능 향상을 연구하고, 다중 언어 평가 기준 6개를 통해 다중 언어 병렬 데이터 기반 모델이 비정렬 다국어 데이터 기반 모델보다 우수한 성능을 보임을 실험적으로 증명합니다.

시사점, 한계점

시사점:
다중 언어 병렬 데이터를 활용한 LLM 사전 학습 및 미세 조정의 효과성을 실험적으로 입증.
대규모 고품질 다중 언어 병렬 말뭉치 TED2025 제공.
다중 언어 병렬 데이터 활용을 위한 최적 전략 제시.
저자원 언어에 대한 LLM 성능 향상에 기여.
한계점:
TED Talks 데이터에 기반한 말뭉치의 특성으로 인해 일반화 가능성에 대한 추가 연구 필요.
다른 유형의 다국어 데이터와의 비교 분석 부족.
다중 언어 병렬 데이터 구축 및 활용에 대한 비용 및 자원 소모에 대한 논의 부족.
👍