Scale-Agnostic Kolmogorov-Arnold Geometry in Neural Networks
Created by
Haebom
Category
Empty
저자
Mathew Vanherreweghe, Michael H. Freedman, Keith M. Adams
개요
Freedman과 Mulligan의 연구에서 얕은 다층 퍼셉트론이 합성 3차원 작업에서 훈련하는 동안 Kolmogorov-Arnold 기하학(KAG) 구조를 자발적으로 개발한다는 것을 보여주었습니다. 본 연구는 KAG 분석을 MNIST 숫자 분류(784차원)에 확장하여 실제적인 고차원 설정에서도 이 현상이 지속되는지, 그리고 이 기하학이 어떤 공간적 특성을 나타내는지 조사했습니다.
시사점, 한계점
•
MNIST 숫자 분류(784차원)를 위한 2층 MLP를 사용하여 KAG 분석을 수행한 결과, 훈련 중에 KAG가 나타났으며, 7픽셀 지역에서 전체 28x28 이미지에 이르기까지 다양한 공간적 규모에서 일관되게 나타났습니다.
•
이러한 규모 불변성은 표준 훈련 및 공간 증강을 사용한 훈련과 같은 다양한 훈련 절차에서 동일한 정성적 패턴을 보였습니다.
•
신경망이 실제 고차원 데이터에 대해 학습하는 동안 자발적으로 조직화되고 규모 불변적인 기하학적 구조를 개발한다는 것을 보여줍니다.
