Urdu와 같은 저자원 언어에 대한 고성능 대규모 언어 모델(LLM) 개발은 고품질 데이터 부족, 다국어 불일치, 안전 문제 등 여러 과제를 안고 있습니다. Alif-1.0-8B-Instruct는 이러한 문제를 해결하기 위해 독특한 접근 방식을 사용합니다. Llama-3.1-8B를 기반으로 구축되었으며, 수정된 self-instruct 기술을 사용하여 개발된 고품질 다국어 합성 데이터세트(Urdu-Instruct)를 기반으로 훈련되었습니다. 이 모델은 Urdu-native chain-of-thought 기반 추론, 이중 언어 번역, 문화적 관련성 및 윤리적 안전성 정렬을 통합합니다. Alif-1.0-8B-Instruct는 Urdu 관련 작업에서 Llama-3.1-8B-Instruct보다 우수한 성능을 보였으며, Mistral-7B-Instruct-v0.3, Qwen-2.5-7B-Instruct, Cohere-Aya-Expanse-8B와 같은 주요 다국어 LLM보다 뛰어난 성능을 보였습니다. 훈련 예산은 100달러 미만이었습니다.
