Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Small Open Models Achieve Near Parity with Large Models in Low Resource Literary Translation at a Fraction of the Cost

Created by
  • Haebom

저자

Mihai Nadas, Laura Diosan, Andreea Tomescu, Andrei Piscoran

개요

본 논문은 저자원 언어인 루마니아어의 문학 번역을 위한 통합 프레임워크인 TINYFABULIST TRANSLATION FRAMEWORK (TF2)를 제시한다. TF2는 압축된 미세 조정 언어 모델(TF2-12B)과 대규모 합성 병렬 데이터셋(DS-TF2-EN-RO-3M 및 DS-TF2-EN-RO-15K)을 생성 및 공개하는 것을 중심으로 데이터셋 생성, 미세 조정 및 평가를 위한 통합 프레임워크이다. 기존의 대규모 합성 영어 우화 데이터셋(DS-TF1-EN-3M)을 기반으로 고품질 루마니아어 참조 데이터 15,000개를 생성하고, 120억 매개변수의 오픈 가중치 모델에 대해 지시어 미세 조정과 어댑터 압축을 수행하여 모델을 미세 조정한다. 평가는 말뭉치 수준 BLEU와 5차원 LLM 기반 평가 척도(정확성, 유창성, 일관성, 스타일, 문화적 적응)를 결합하여 수행된다. 실험 결과, 미세 조정된 모델은 최고 성능의 대규모 독점 모델과 경쟁력 있는 유창성과 적절성을 달성하면서도 오픈 소스, 접근성 및 비용 효율성을 제공한다. 모델과 데이터셋, 스크립트, 평가 프롬프트 모두 공개된다.

시사점, 한계점

시사점:
저자원 언어의 문학 번역을 위한 효율적이고 재현 가능한 파이프라인 제공
오픈 모델을 활용한 저자원 언어의 문화적으로 중요한 문학 콘텐츠 번역의 폭넓은 채택 가능성 제시
고품질의 대규모 합성 데이터셋 공개를 통한 연구 활성화
대규모 독점 모델에 필적하는 성능을 보이는 경량 모델 개발
지시어 미세 조정 및 어댑터 압축 기법의 효과성 검증
한계점:
합성 데이터에 의존하기 때문에 실제 문학 번역의 복잡성을 완전히 반영하지 못할 수 있음.
평가 척도가 LLM 기반이므로 LLM의 한계가 평가 결과에 영향을 미칠 수 있음.
현재 영어-루마니아어 번역에만 국한되어 다른 언어 조합으로의 일반화 가능성은 추가 연구가 필요함.
120억 매개변수 모델은 여전히 상당한 자원을 필요로 하므로, 더욱 경량화된 모델 개발이 필요할 수 있음.
👍