본 논문은 13억 개의 매개변수를 가진 소형 언어 모델 Xmodel-2.5를 제시하며, 엣지 환경 또는 비용에 민감한 배포에 적합하도록 설계되었다. 최대 업데이트 매개변수화($\mu$P)를 사용하여 하이퍼파라미터를 2천만 개의 매개변수 프록시에 맞춰 튜닝한 후, 전체 모델에 직접 적용할 수 있음을 보였다. 1.4조 토큰의 Warmup--Stable--Decay 커리큘럼을 사용했으며, AdamW에서 Muon으로 훈련 방식을 전환하여 13개 작업의 추론 평균을 4.58% 향상시켰다. FP8 혼합 정밀도 훈련을 통해 정확성과 처리량을 균형 있게 유지했다. 모든 체크포인트, 레시피 및 평가 코드는 Apache-2.0 라이선스 하에 공개된다.
