Mutarjim: Advancing Bidirectional Arabic-English Translation with a Small Language Model
Created by
Haebom
저자
Khalil Hennara, Muhammad Hreden, Mohamed Motaism Hamed, Zeina Aldallal, Sara Chrouf, Safwan AlModhayan
개요
Mutarjim은 아랍어-영어 양방향 번역을 위한 소형이지만 강력한 언어 모델입니다. Kuwain-1.5B를 기반으로 하며, 최적화된 2단계 학습 방식과 엄선된 고품질 학습 데이터셋을 통해 대규모 모델들보다 우수한 성능을 보입니다. 기존 아랍어-영어 벤치마크의 한계를 극복하기 위해 새로운 벤치마크인 Tarjama-25를 제시하며, Mutarjim은 Tarjama-25의 영어-아랍어 번역 과제에서 최첨단 성능을 달성합니다. Tarjama-25 데이터셋 또한 공개하여 향후 연구를 지원합니다.
시사점, 한계점
•
시사점:
◦
소규모 언어 모델로도 대규모 모델과 견줄만한 번역 성능을 달성 가능함을 보여줌.
◦
계산 비용과 학습 요구사항을 크게 줄임.
◦
기존 아랍어-영어 번역 벤치마크의 한계를 극복하는 새로운 벤치마크인 Tarjama-25를 제공.
◦
Tarjama-25에서 영어-아랍어 번역 과제에서 최첨단 성능 달성.
◦
모델과 데이터셋을 모두 공개하여 연구에 기여.
•
한계점:
◦
논문에서 구체적인 모델 아키텍처나 하이퍼파라미터에 대한 자세한 설명이 부족할 수 있음.
◦
Tarjama-25 데이터셋의 규모가 다른 대규모 데이터셋에 비해 상대적으로 작을 수 있음.
