Fine-Tuning LLMs for Low-Resource Dialect Translation: The Case of Lebanese
Created by
- Haebom
Category
Empty
저자
Silvana Yakhni, Ali Chehab
개요
본 논문은 저자원 레바논 방언 번역에서 대규모 언어 모델(LLM)의 효과를 조사하고, 문화적으로 정확한 데이터와 대규모 번역 데이터 세트의 영향에 중점을 둡니다. 세 가지 미세 조정 방법(기본, 대조적, 문법 힌트 조정)을 Aya23 모델을 사용하여 비교 분석하며, 소규모이지만 문화적으로 적합한 레바논 데이터 세트(LW)로 미세 조정된 모델이 대규모 비원어 데이터로 학습된 모델보다 지속적으로 우수한 성능을 보임을 밝힙니다. 대조적 프롬프트와 함께 대조적 미세 조정을 통해 최상의 결과를 얻었으며, 이는 번역 모델에 잘못된 예시를 노출하는 것이 유익함을 시사합니다. 또한, 정확한 평가를 위해 원어민 레바논 콘텐츠를 기반으로 한 새로운 벤치마크인 LebEval을 제시하고 기존 FLoRes 벤치마크와 비교합니다. 연구 결과는 "데이터가 많을수록 좋다"는 패러다임에 이의를 제기하고 방언 번역에서 문화적 정확성의 중요성을 강조합니다. 데이터 세트와 코드는 Github에 공개되었습니다.
시사점, 한계점
•
시사점:
◦
문화적으로 적합한 소규모 데이터 세트가 대규모 비원어 데이터 세트보다 레바논 방언 번역 성능에 더 효과적임을 입증.
◦
대조적 미세 조정 및 대조적 프롬프팅 기법의 효용성을 제시. 잘못된 예시를 노출시키는 것이 모델 성능 향상에 기여.
◦
레바논 방언 번역 평가를 위한 새로운 벤치마크 LebEval 제시.
◦
저자원 언어 번역에서 데이터의 질적 측면(문화적 적합성)이 양적 측면(데이터 크기)보다 중요함을 시사.
◦
데이터셋 및 코드 공개를 통한 연구의 재현성 및 확장성 확보.
•
한계점:
◦
연구 대상이 레바논 방언에 국한되어 다른 저자원 언어로의 일반화 가능성에 대한 추가 연구 필요.
◦
Aya23 모델에 국한된 연구 결과이므로 다른 LLM 모델에 대한 추가 실험 필요.
◦
LebEval 벤치마크의 범용성 및 신뢰도에 대한 추가 검증 필요.
