본 논문은 디코더 기반 LLM의 등장에도 불구하고 효율적인 독일어 NLP 및 NLU를 위해 인코더가 여전히 중요하다는 점을 강조하며, 동일한 데이터 및 학습 제약 조건 하에서 높은 품질의 독일어 인코더를 얻기 위한 두 가지 방법, 즉 1) 처음부터 학습과 2) LLM2Vec을 통한 디코더 변환을 연구합니다. ModernGBERT (134M, 1B) 및 LLaMmleinVec (120M, 1B, 7B)을 소개하며, 컨텍스트 길이를 8,192 토큰으로 확장합니다. ModernGBERT 1B는 SuperGLEBer에서 최고 성능을 달성했으며, 독일어 MTEB에서 감독 학습 후 LLaMmleinVec 7B 모델에 근접한 성능을 보입니다. 모든 모델, 체크포인트, 데이터 세트 및 전체 학습 기록을 공개하고, 인코더에 적합한 QA-NIAH 평가를 도입합니다.
