# Loop Corrections to the Training Error and Generalization Gap of Random Feature Models

### 저자

Taeyoung Kim

### 💡 개요

본 연구는 신경망의 초기 가중치 앙상블에서 샘플링된 고정된 신경망을 무작위 특징으로 사용하고 판독 가중치만 최적화하는 무작위 특징 모델의 훈련 오차와 일반화 간극을 통계 물리학적 관점에서 분석합니다. 평균 커널 근사를 넘어, 유효 장론적 프레임워크를 통해 훈련 오차, 테스트 오차, 일반화 간극에 대한 루프 수정 항들을 유도하고, 이들의 스케일링 법칙을 도출하여 실험적으로 검증했습니다.

### 🔑 시사점 및 한계

- 무작위 특징 모델에서 평균 커널 근사를 넘어서는 유효 장론적 루프 수정 항이 훈련 및 일반화 성능에 중요한 영향을 미침을 보여주었습니다.

- 유도된 스케일링 법칙은 다양한 너비의 신경망에서의 일반화 메커니즘을 이해하는 데 기여합니다.

- 본 연구는 특정 종류의 무작위 특징 모델에 초점을 맞추었으며, 더 복잡한 신경망 구조나 학습 동역학에 대한 적용은 향후 연구 과제로 남아있습니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.12827)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).