본 논문은 대형 언어 모델(LLM) 훈련 시 메모리 사용량을 줄이기 위한 새로운 프레임워크인 Fira를 제안합니다. Fira는 기존의 저랭크 훈련 방식이 성능 저하를 유발하는 문제를 해결하고자, 저랭크 제약 조건 하에서 완전 랭크 훈련을 가능하게 합니다. Fira는 적응형 옵티마이저의 스케일링 영향을 활용하여 저랭크 옵티마이저를 사용하면서도 완전 랭크 훈련을 수행하며, 기울기 급증 현상을 해결하기 위해 기울기 노름 증가 제한기를 도입합니다. 실험 결과, Fira는 LoRA 및 GaLore보다 우수한 성능을 보이며, 완전 랭크 훈련과 유사하거나 더 나은 성능을 달성했습니다.
