본 논문은 기존의 최적화 기반 신경망 훈련 방식의 한계점, 특히 과적합 문제를 지적하며, 물리 시스템으로서의 신경망을 다루는 새로운 관점을 제시합니다. 기존 최적화 방식 대신 '충분히 좋은' 가중치와 편향을 생성하는 물리 기반 훈련 방법인 'simmering'을 소개하고, 분류 및 회귀 문제에서 Adam 최적화 기반 훈련으로 과적합된 신경망을 수정하고, 초기부터 과적합을 방지하는 효과를 보임을 실험적으로 입증합니다. 이를 통해 최적화를 신경망 훈련의 패러다임으로 삼는 것에 대한 의문을 제기하고, 최적화에 기반하지 않는 새로운 훈련 알고리즘의 존재 가능성을 정보 기하학적 관점에서 논증합니다.
