본 논문은 독일어 전용 디코더 모델인 LLäMmlein 120M 및 1B를 처음부터 투명하게 생성하고, 학습 데이터와 함께 독일어 NLP 연구 커뮤니티에 공개합니다. 모델 학습에는 광범위한 데이터 전처리, 맞춤형 독일어 토크나이저 생성, 학습 자체, 다양한 벤치마크를 통한 최종 모델 평가 등 여러 주요 단계가 포함되었습니다. 학습 과정 전반에 걸쳐 여러 개의 체크포인트를 저장하고 SuperGLEBer 벤치마크를 사용하여 모델의 학습 역학을 모니터링했습니다. SuperGLEBer 벤치마크에서 최첨단 모델과 비교했을 때, 두 LLäMmlein 모델 모두 경쟁력 있는 성능을 보였으며, 유사한 매개변수 크기를 가진 모델과 일관되게 동등하거나 우수한 성능을 달성했습니다. 결과는 모델의 품질이 크기에 따라 예상대로 확장됨을 보여주지만, 일부 작업의 성능 향상은 초기 단계에서 정체되어 향후 모델 개발을 위한 자원 할당에 대한 귀중한 통찰력을 제공합니다.
