# Scale-Parameter Selection in Gaussian Kolmogorov-Arnold Networks

### 저자

Amir Noorizadegan, Sifan Wang

### 💡 개요

본 논문은 최근 주목받는 엣지 기반 신경망 구조인 Kolmogorov-Arnold Networks (KANs)에서 학습 가능한 함수를 매개변수화하는 데 사용되는 가우시안 기저 함수의 '스케일(scale)' 매개변수 $\epsilon$의 역할을 체계적으로 연구합니다. 특히, $\epsilon$이 첫 번째 계층의 특징 기하학, 조건 부여, 근사 거동에 미치는 영향을 분석하고, 첫 번째 계층에서의 스케일 선택이 후속 계층에 비해 더 중요함을 발견했습니다.

### 🔑 시사점 및 한계

- 가우시안 KAN의 성능은 스케일 매개변수 $\epsilon$에 크게 의존하며, 특히 첫 번째 계층의 특징 공간 형성에 중요한 영향을 미칩니다.

- $\epsilon$에 대한 실용적인 작동 구간으로 $[ \frac{1}{G-1}, \frac{2}{G-1} ]$ (여기서 $G$는 가우시안 중심의 개수)를 제시하며, 이는 다양한 문제에서 안정적이고 효과적인 설계 규칙으로 작용합니다.

- 제시된 스케일 선택 원리는 고정 스케일 선택, 가변 스케일 구성, 제약 조건이 있는 $\epsilon$ 학습, 조기 MSE를 활용한 효율적인 스케일 탐색 등 다양한 상황에 적용 가능하며, $\epsilon$을 임시적인 하이퍼파라미터가 아닌 실용적인 설계 원리로 자리매김합니다.

- 이 연구는 스케일 선택을 위한 일반적인 최적화 결과를 제시하기보다는, 특정 조건 하에서 안정적이고 효과적인 설계 규칙을 제시하는 데 중점을 두었습니다. 향후 다양한 네트워크 구조 및 복잡한 문제에 대한 일반화 가능성을 검증할 필요가 있습니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.21174)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).