본 논문은 대규모 언어 모델(LLM) 학습에서 기존의 확률적 경사 하강법(SGD)의 효율성에 대한 의문을 제기하고, 이를 개선하기 위한 새로운 방법을 제안한다. 제안된 방법은 적응적 샘플링을 활용한 확률적 공액 부경사법으로, 반복당 더 빠른 수렴 속도와 향상된 확장성을 달성한다. 샘플 복잡도 분석을 통해 샘플 크기를 적응적으로 선택하고, 확률적 공액 부경사법으로 탐색 방향을 결정하며, AdamW 유사 알고리즘으로 단계 크기를 조정한다. 실험 결과, 제안된 방법은 기존 SGD 기법의 확장성을 유지하면서 속도와 정확도를 모두 크게 향상시키는 것으로 나타났다.
