본 논문은 기존의 경험적 기울기 기반 방법에 의존하는 대부분의 신경망 최적화 알고리즘과 달리, 운동론과 편미분 방정식(PDE) 시뮬레이션에서 영감을 받은 새로운 신경망 최적화 알고리즘인 KO(Kinetics-inspired Optimizer)를 제시한다. KO는 신경망 파라미터의 훈련 역학을 운동학적 원리에 의해 지배되는 입자 시스템의 진화로 재해석하며, 확률적 입자 충돌을 모델링하는 볼츠만 수송 방정식(BTE)에 대한 수치적 기법을 통해 파라미터 업데이트를 시뮬레이션한다. 이 물리 기반 접근 방식은 물리 시스템에서의 열 확산과 유사한 메커니즘을 통해 파라미터 응축(파라미터가 저차원 부분 공간으로 붕괴되는 현상)을 완화하며, 최적화 과정에서 파라미터 다양성을 고유하게 증진시킨다. 본 논문은 이러한 특성을 수학적 증명과 물리적 해석 모두를 통해 분석하고, CIFAR-10/100, ImageNet과 같은 이미지 분류 및 IMDB, Snips와 같은 텍스트 분류 작업에 대한 광범위한 실험을 통해 KO가 Adam, SGD 등 기준 최적화 알고리즘을 일관되게 능가하며, 계산 비용은 비슷하게 유지하면서 정확도를 향상시킴을 보여준다.
