본 논문은 모바일 기기에서의 언어 모델 적용을 위한 계산 및 메모리 비용 문제 해결을 목표로, 고성능 소형 언어 모델 개발에 초점을 맞추고 있습니다. 10억 파라미터의 소형 언어 모델을 기반으로, 신경망 구조, 파라미터 초기화, 최적화 전략 등 세 가지 관점에서 경험적 연구를 수행했습니다. 토크나이저 압축, 구조 조정, 파라미터 상속, 다중 라운드 학습 등의 설계 공식을 제시하고, 이를 통해 PanGu-π-1B Pro 및 PanGu-π-1.5B Pro 모델을 1.6T 다국어 말뭉치로 학습시켰습니다. 실험 결과, PanGu-π-1B Pro는 벤치마크 평가 집합에서 평균 8.87의 성능 향상을 보였으며, PanGu-π-1.5B Pro는 더 큰 모델보다 우수한 성능을 나타냈습니다. 코드는 Github에서 공개되었습니다.
