본 논문은 등변 신경망의 최적화 문제를 분석한다. 특히, 등변성 제약이 최적화에 근본적인 장애를 유발하는지, 아니면 하이퍼파라미터 튜닝의 문제인지에 대한 의문을 제기하며, 손실 함수 풍경의 기하학적 분석을 통해 이를 탐구한다. 순열 표현을 사용하는 네트워크에 초점을 맞춰, 제약 없는 다층 퍼셉트론의 부분집합으로 간주하고, 제약 없는 모델의 매개변수 대칭성이 등변 하위 공간의 손실 함수 풍경에 영향을 미치며, 특정 조건에서 전역 최소값 학습을 방해할 수 있음을 이론적으로 증명한다. 또한, 이러한 경우 제약을 완화하면 문제가 해결될 수 있음을 실험적으로 보여준다.
