본 논문은 대규모 언어 모델(LLM)의 매개변수 분포에 대한 통계적 모델링을 기반으로, LLM의 효율적인 학습 및 배포를 위한 통합 프레임워크를 제시합니다. 기존 연구에서 사전 학습된 LLM 매개변수가 일반화된 가우시안 분포(GGD)를 따른다는 사실을 바탕으로, GGD 기반의 초기화 기법, 사후 학습 규제 기법(DeepShape), 그리고 하드웨어 효율적인 8비트 부동소수점 형식(RF8)을 제안합니다. 이를 통해 매개변수를 최대 90%까지 감소시키면서도 성능 저하를 최소화하고, 학습 속도를 향상시키는 결과를 얻었습니다. 다양한 모델 아키텍처에 대한 실험을 통해 제안된 프레임워크의 우수성을 검증하였으며, 코드는 Hugging Face에 공개하였습니다.
