본 논문은 최적화 알고리즘의 안정성과 효율성에 중요한 역할을 하는 단계 크기 조정 문제를 다룬다. 특히, 2차 방법에서 좌표별 단계 크기를 사용하는 것은 아직 미개척 분야이며 어려움이 따른다. 기존의 하이퍼경사하강법이나 절단면 방법 등은 제한적인 개선만 제공하거나 2차 상황에서 어려움을 겪는다. 이에 본 논문은 BFGS 프레임워크 내에서 이론적 분석을 수행하여 수렴성과 안정성을 보장하는 좌표별 단계 크기에 대한 충분 조건을 유도한다. 이를 바탕으로, 과거 최적화 궤적의 통찰력을 활용하여 LSTM 기반 네트워크를 이용해 최적 단계 크기를 학습하는 새로운 L2O(Learn-to-Optimize) 방법을 제시한다. 다양한 최적화 작업에서 최대 4배 빠른 수렴을 달성함을 실험적으로 보여준다.
