본 논문은 대규모 언어 모델(LLM)의 매개변수 분포를 일반화된 가우시안 분포(GGD)로 모델링하여 LLM의 효율성을 향상시키는 통합 프레임워크를 제시합니다. 기존 연구에서 사전 훈련된 LLM 매개변수가 GGD를 따른다는 점에 착안하여, 매개변수 초기화, 훈련 역학, 추론 효율을 개선하는 세 가지 기여를 제시합니다. 첫째, GGD 기반의 초기화 기법을 통해 수렴 속도와 정확도를 향상시키고, 둘째, DeepShape라는 사후 훈련 정규화 방법을 통해 매개변수 분포를 GGD에 맞춰 재구성하여 압축률을 높입니다. 마지막으로, GGD 분포로 초기화된 BackSlash 훈련에 최적화된 RF8이라는 8비트 부동 소수점 형식을 제안하여 저렴한 추론 비용으로 정확도를 유지합니다. 다양한 모델 아키텍처에 대한 실험 결과, 제안된 프레임워크는 기존 방법보다 작고 빠르며 성능이 동등하거나 우수한 모델을 생성하는 것으로 나타났습니다.
