Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models

Created by
  • Haebom

저자

Mehdi Ali, Manuel Brack, Max Lubbering, Elias Wendt, Abbas Goher Khan, Richard Rutmann, Alex Jude, Maurice Kraus, Alexander Arno Weber, David Kaczer, Florian Mai, Lucie Flek, Rafet Sifa, Nicolas Flores-Herr, Joachim Kohler, Patrick Schramowski, Michael Fromm, Kristian Kersting

개요

본 논문은 대규모 언어 모델(LLM)의 효과적인 사전 훈련에 필수적인 고품질 다국어 훈련 데이터의 제한된 가용성 문제를 해결하기 위해 JQL이라는 새로운 시스템 접근 방식을 제시합니다. JQL은 사전 훈련된 다국어 임베딩을 기반으로 LLM의 주석 기능을 경량 주석기로 증류하여 다양하고 고품질의 다국어 데이터를 효율적으로 큐레이션하고 계산 요구량을 크게 줄입니다. 35개 언어에 대한 실험 결과, JQL 기반 주석 파이프라인은 Fineweb2와 같은 기존의 휴리스틱 필터링 방법보다 훨씬 우수한 성능을 보이며, 하위 모델 훈련 품질을 향상시키고 데이터 보존율을 높입니다.

시사점, 한계점

•
시사점:
◦
LLM의 주석 기능을 활용하여 효율적이고 확장 가능한 다국어 데이터 큐레이션 방법을 제시.
◦
기존 휴리스틱 필터링 방법보다 우수한 성능을 보이는 다국어 데이터 생성 파이프라인 개발.
◦
다국어 및 교차 언어 성능이 뛰어난 경량 주석기 모델 개발.
◦
하위 모델 훈련 품질 향상 및 데이터 보존율 증가.
◦
다국어 데이터 큐레이션에 대한 실질적인 통찰력과 귀중한 리소스 제공.
◦
다국어 데이터셋 개발 표준 향상.
•
한계점:
◦
JQL의 성능은 사전 훈련된 다국어 임베딩의 품질에 의존적일 수 있음.
◦
새로운 언어나 스크립트에 대한 JQL의 일반화 성능에 대한 추가적인 연구가 필요할 수 있음.
◦
JQL을 통해 생성된 데이터셋의 크기와 다양성에 대한 추가적인 분석이 필요할 수 있음.
👍
Made with Slashpage