본 논문은 대규모 머신러닝 모델의 훈련 및 추론 과정에서의 계산 및 메모리 비용을 줄이기 위해 블록 단위로 희소한 가중치 행렬을 갖는 모델의 효율적인 훈련 알고리즘을 제안합니다. 기존 방법들은 완전한 밀집 모델에서 시작하여 블록 희소 모델을 훈련하는 비효율적인 방식을 사용하는 반면, 본 논문에서 제안하는 알고리즘은 블록 희소 구조를 직접적으로 활용하여 훈련 및 추론 과정의 비용을 감소시킵니다. 또한, 제안된 방법은 훈련 과정에서 최적의 블록 크기를 효율적으로 찾을 수 있음을 보여줍니다. 실험적 및 이론적 분석을 통해 제안된 알고리즘이 성능 저하 없이 계산 및 메모리 비용을 상당히 줄일 수 있음을 입증합니다.
