본 논문은 대규모 언어 모델(LLM) 학습에서 적응형 최적화기의 메모리 사용량을 줄이기 위해 저차원 공간으로 학습을 제한하는 저랭크 최적화 기법을 제안합니다. 기존의 특이값 분해(SVD) 기반 방법은 계산 비용이 많이 들고 투영 행렬 저장으로 인한 추가 메모리 비용이 발생하는 문제점이 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 이산 코사인 변환(DCT)을 이용하여 미리 정의된 직교 기저를 구성하고, 각 층의 기울기와의 정렬을 기반으로 기저 열을 적응적으로 선택하는 효율적인 두 단계 절차를 제안합니다. 이 방법은 SVD 기반 방법과 유사한 성능을 달성하면서도 더 빠른 실행 시간과 감소된 메모리 사용량을 제공합니다.
