LLaMmlein 120M과 1B라는 두 개의 독일어 전용 디코더 모델을 처음부터 투명하게 생성하여 독일어 NLP 연구 커뮤니티에서 사용할 수 있도록 모델과 훈련 데이터를 공개했습니다. 모델 훈련에는 광범위한 데이터 전처리, 맞춤형 독일어 토크나이저 생성, 훈련 자체 및 다양한 벤치마크에 대한 최종 모델 평가 등 몇 가지 주요 단계가 포함되었습니다. 훈련 과정 전반에 걸쳐 여러 체크포인트를 저장하고 SuperGLEBer 벤치마크를 사용하여 모델의 학습 역학을 모니터링했습니다. SuperGLEBer 벤치마크에서 최첨단 모델과 비교했을 때, 두 LLaMmlein 모델 모두 경쟁력 있는 성능을 보였으며, 유사한 매개변수 크기를 가진 모델과 일관되게 동등하거나 우수한 성능을 나타냈습니다. 결과는 모델의 품질이 크기에 따라 예상대로 확장됨을 보여주지만, 일부 작업에 대한 성능 향상은 초기에 정체되어 향후 모델 개발을 위한 자원 할당에 대한 귀중한 통찰력을 제공합니다.
