본 논문은 신경망 매개변수의 고유한 대칭성을 활용하여 손실 풍경 내에서 여러 개의 등가 최소값을 생성하는 Scale Graph Metanetworks (ScaleGMNs) 아키텍처를 제안한다. 이는 순열 및 매개변수 스케일링 변환에 대해 등변형성을 가지도록 설계되었다. 순열 대칭성을 활용하는 기존 연구를 확장하여 스케일링 대칭성도 통합함으로써, 자동 인코더 프레임워크를 개발하고 ScaleGMNs를 불변 인코더로 활용한다. 본 연구는 명시적인 할당 문제를 해결하지 않고도 Implicit Neural Representations (INRs) 및 Convolutional Neural Networks (CNNs)를 순열 및 스케일링 대칭성 하에서 정렬하는 것을 실험적으로 입증했다. 이를 통해 유사한 네트워크가 동일한 손실 베이신 내에서 자연스럽게 수렴하게 하여, 모델 병합을 용이하게 한다.
시사점, 한계점
•
시사점:
◦
순열 및 스케일링 대칭성을 모두 활용하여 신경망의 손실 풍경을 효과적으로 정렬한다.
◦
명시적인 할당 문제 해결 없이 네트워크를 동일한 손실 베이신에 위치시킨다.
◦
모델 병합과 같은 응용 분야에서 잠재적 이점을 제공한다.
◦
Implicit Neural Representations (INRs) 및 Convolutional Neural Networks (CNNs)에 적용 가능성을 보인다.
