본 논문은 대규모 언어 모델(LLM) 미세 조정 시 발생하는 GPU 메모리 병목 현상을 해결하기 위한 새로운 제로차(ZO) 최적화 알고리즘인 FZOO를 제안합니다. 기존 ZO 최적화 알고리즘인 MeZO는 수렴에 많은 전방 패스가 필요하지만, FZOO는 배치된 단측 추정과 표준 편차 기반의 단계 크기 적응, Rademacher 랜덤 벡터 섭동 및 CUDA 병렬 처리를 통해 전방 패스 수를 크게 줄입니다. RoBERTa-large, OPT, Phi-2, Llama3 등 다양한 모델과 11가지 작업에 대한 실험 결과, FZOO는 MeZO보다 정확도는 평균 3% 향상시키면서 전방 패스 수는 3배 감소시켰으며, RoBERTa-large에서는 정확도 5.6% 향상과 전방 패스 수 18배 감소를 달성, Adam과 유사한 수렴 속도를 보였습니다. 또한, 정규화된 SGD 업데이트 규칙과의 공식적 등가성 및 수렴 보장을 이론적으로 증명하였으며, PEFT 기법과의 원활한 통합을 통해 더 큰 메모리 절약을 가능하게 합니다.
