폴란드어 처리에 최적화된 최첨단 언어 모델인 Bielik 11B v2를 제시합니다. Mistral 7B v0.2 아키텍처를 기반으로 depth up-scaling을 사용하여 11B 매개변수로 확장되었으며, 폴란드어 벤치마크에서 뛰어난 성능을 보이는 동시에 강력한 크로스 링구얼 기능을 유지합니다. 두 가지 핵심 기술 혁신인 가중 지시 크로스 엔트로피 손실(Weighted Instruction Cross-Entropy Loss)과 적응형 학습률(Adaptive Learning Rate)을 도입했습니다. 여러 벤치마크에 대한 포괄적인 평가 결과, Bielik 11B v2는 2~6배 더 많은 매개변수를 가진 많은 대규모 모델보다 성능이 우수하며, 언어 이해부터 복잡한 추론까지 다양한 작업에서 다른 특수 폴란드어 모델을 크게 능가합니다. 모델의 매개변수 효율성과 광범위한 양자화 옵션을 통해 다양한 하드웨어 구성에서 배포가 가능하여 폴란드어 AI 기능을 발전시키고, 저자원 언어의 자원 효율적인 언어 모델링에 대한 새로운 기준을 설정합니다.
