Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GemMaroc: Unlocking Darija Proficiency in LLMs with Minimal Data

Created by
  • Haebom

저자

Abderrahman Skiredj, Ferdaous Azhari, Houdaifa Atou, Nouamane Tazi, Ismail Berrada

개요

모로코 아랍어(다리자)에 대한 오픈소스 대규모 언어 모델(LLM)의 부족 문제를 해결하기 위해, 양보다 질에 중점을 둔 전략을 사용하여 다리자 언어에 대한 성능을 향상시키는 연구를 진행했습니다. LIMA, DEITA, TULU 세 가지 지시어 세트를 다리자어로 번역하고, 영어 원본 20개를 유지하며 수학, 코딩, 과학 관련 프롬프트를 추가했습니다. 5,000개의 혼합 지시어로 LoRA를 사용하여 Gemma 3-4B를 미세 조정한 결과, 다리자 MMLU 점수가 32.8에서 42.7로 향상되었고, 추론 집약적인 TULU 부분을 추가하여 47.5까지 향상되었습니다. 같은 방법으로 Gemma 3-27B를 미세 조정한 GemMaroc-27B는 다리자 MMLU에서 Atlas-Chat과 동등한 성능(61.6)을 달성했고, 다리자 상식 추론에서 Atlas-Chat(48.4)보다 높은 60.5점을 기록했습니다. GemMaroc은 수학 및 일반 추론 능력을 유지하면서 GSM8K 및 영어 벤치마크에서는 최소한의 성능 변화만 보였습니다. 전체 모델 학습에는 48 GPU 시간만 소요되었으며, 코드, 데이터 및 체크포인트를 공개하여 교육, 공공 서비스 및 일상적인 디지털 상호 작용에서 다리자 중심 응용 프로그램을 촉진하고자 합니다.

시사점, 한계점

•
시사점:
◦
양보다 질 중심의 데이터 전략을 통해 소규모 데이터로도 LLM의 다리자어 성능을 크게 향상시킬 수 있음을 보여줌.
◦
계산 비용을 최소화하면서 다리자어를 포함한 다국어 지원 LLM 개발의 효율적인 방법 제시.
◦
다리자어를 위한 고성능 LLM GemMaroc-27B를 개발하고 공개하여 다양한 응용 분야에 활용 가능성을 높임.
◦
환경 친화적인 AI 개발(Green AI) 방향 제시.
•
한계점:
◦
다리자어 데이터의 규모가 여전히 제한적일 수 있으며, 더 많은 데이터 확보가 성능 향상에 도움이 될 수 있음.
◦
사용된 벤치마크의 한계로 인해 실제 응용 환경에서의 성능을 완벽하게 반영하지 못할 수 있음.
◦
현재 모델의 성능이 특정 벤치마크에 편향되어 있을 가능성이 있음.
◦
다리자어의 다양한 방언 및 표현 방식을 모두 고려하지 못했을 가능성이 있음.
👍
Made with Slashpage