본 논문은 대규모 언어 모델(LLM)의 매개변수 분포가 초기화, 학습 역학, 그리고 성능에 미치는 영향에 초점을 맞추고 있습니다. 기존 연구에서 제시된 BackSlash 알고리즘(학습 중 압축 알고리즘)을 기반으로, 매개변수 분포를 일반화된 가우시안 분포(GGD)로 모델링하여 LLM 최적화를 위한 통합 프레임워크를 제안합니다. 이 프레임워크는 GGD 기반 초기화, 후처리 규제 기법인 DeepShape, 그리고 하드웨어 효율적인 8비트 부동 소수점 형식인 RF8을 포함하며, 실험 결과 다양한 모델 아키텍처에서 기존 방식보다 작고 빠르면서 동등하거나 더 나은 성능을 보임을 확인했습니다. 이는 효율적이고 확장 가능하며 하드웨어 인식 AI 시스템을 위한 새로운 방향을 제시합니다.
