Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

XL-Instruct: Synthetic Data for Cross-Lingual Open-Ended Generation

Created by
  • Haebom

저자

Vivek Iyer, Ricardo Rei, Pinzhen Chen, Alexandra Birch

개요

본 논문은 다국어 오픈 엔드 생성(사용자 질의와 다른 언어로 응답 생성)을 위한 새로운 벤치마크인 XL-AlpacaEval을 소개하고, 고품질 합성 데이터 생성 방법인 XL-Instruct를 제안합니다. XL-Instruct로 생성된 8,000개의 instruction으로 미세 조정한 결과, GPT-4o-Mini에 대한 승률이 7.4%에서 21.5%로 증가하고 여러 세분화된 품질 지표가 향상되었습니다. 또한 XL-Instruct으로 미세 조정된 모델은 영어 전용 및 다국어 생성 작업에 강력한 제로샷 전이 성능을 보였습니다. 논문은 향후 다국어 LLM의 학습 후 과정에 XL-Instruct를 통합할 것을 강력히 권고하며, XL-Instruct 및 XL-AlpacaEval 데이터셋을 공개적으로 배포할 예정입니다.

시사점, 한계점

시사점:
XL-AlpacaEval: 다국어 오픈 엔드 생성 능력 평가를 위한 새로운 벤치마크 제공.
XL-Instruct: 고품질 다국어 instruction 데이터 생성 방법 제시 및 효과 입증.
미세 조정 효과: 소량의 XL-Instruct 데이터만으로도 다국어 LLM 성능을 상당히 향상시킬 수 있음을 보임.
제로샷 전이 성능: XL-Instruct으로 학습된 모델이 영어 전용 및 다국어 생성 작업에서 우수한 제로샷 성능을 보임.
공개 데이터셋: XL-Instruct 및 XL-AlpacaEval 데이터셋 공개를 통한 추가 연구 지원.
한계점:
XL-Instruct 데이터셋의 규모가 아직 제한적일 수 있음 (8,000개 instruction).
다양한 언어와 다양한 유형의 질의에 대한 일반화 성능에 대한 추가 연구가 필요.
XL-Instruct의 생성 품질 및 편향성에 대한 추가 분석 필요.
👍