본 논문은 대규모 언어 모델(LLM) 훈련 시 실행 시간 개선과 메모리 사용량 감소를 위해 저차원 공간으로 학습을 제한하는 저랭크 최적화를 제안한다. 기존 연구는 특이값 분해(SVD) 또는 QR 분해 기반 방식을 사용하여 선형 레이어의 기울기를 투영했지만, 이 방법은 계산 비용이 높고 투영 행렬 저장에 추가 메모리가 필요하다. 본 연구에서는 이산 코사인 변환(DCT)의 사전 정의된 직교 행렬을 사용하여 SVD/QR 기반 기울기 투영을 저차원 공간으로 근사하는 계산 효율적인 2단계 절차를 제안한다. DCT 행렬에서 각 레이어의 기울기에 맞춰 열을 동적으로 선택하고, DCT 행렬과의 단순한 행렬 곱셈과 정렬 단계를 통해 효과적인 투영 행렬을 얻는다. 제안된 방법은 SVD/QR 기반 방법의 성능을 유지하면서 훈련 시작 시 한 번만 계산되므로, 훈련 시간과 메모리 사용량을 최대 25%까지 줄인다.
