독일어 전용 디코더 모델 LLäMmlein 120M 및 1B를 처음부터 투명하게 생성하여 독일어 NLP 연구 커뮤니티에서 사용할 수 있도록 모델과 학습 데이터를 공개했습니다. 모델 학습에는 광범위한 데이터 전처리, 맞춤형 독일어 토크나이저 생성, 학습 자체 및 다양한 벤치마크에 대한 최종 모델 평가 등 몇 가지 주요 단계가 포함되었습니다. 학습 과정 전반에 걸쳐 여러 검사점을 저장하고 SuperGLEBer 벤치마크를 사용하여 모델의 학습 역동성을 모니터링했습니다. SuperGLEBer 벤치마크에서 최첨단 모델과 비교했을 때 두 LLäMmlein 모델 모두 경쟁력 있는 성능을 보였으며, 유사한 매개변수 크기를 가진 모델과 일관되게 일치하거나 능가했습니다. 결과는 모델의 품질이 예상대로 크기에 따라 확장됨을 보여주지만, 일부 작업에 대한 성능 향상은 초기 단계에서 정체되어 향후 모델 개발을 위한 자원 할당에 대한 귀중한 통찰력을 제공합니다.
