본 논문은 대규모 신경망 훈련 시 발생하는 메모리 문제 해결을 위한 새로운 방법인 COAP(Correlation-Aware Gradient Projection)을 제시합니다. 기존의 저계급 근사 방법(LoRA, GaLore, Flora)들은 최적화 상태 저장에 필요한 메모리를 줄이지만, 성능 저하나 높은 계산 비용이라는 단점이 있습니다. COAP은 투영 간의 상관관계를 고려하여 계산 비용을 최소화하면서 훈련 성능을 유지하는 데 중점을 둡니다. 다양한 비전, 언어, 다중 모달 작업에 대한 평가 결과, COAP은 기존 방법보다 훈련 속도와 모델 성능 모두에서 우수한 성능을 보였습니다. 예를 들어 LLaMA-1B에서는 최적화 메모리를 61% 줄이고 추가 시간 비용은 2%에 불과하면서 AdamW와 동일한 PPL을 달성했습니다. 또한 8비트 양자화를 사용하여 LLaVA-v1.5-7B 미세 조정에서 최적화 메모리를 81% 줄이고 GaLore보다 4배 빠른 속도로 더 높은 정확도를 달성했습니다.
