Which Frequencies do CNNs Need? Emergent Bottleneck Structure in Feature Learning
Created by
- Haebom
Category
Empty
저자
Yuxiao Wen, Arthur Jacot
개요
본 논문은 CNN에서 입력 표현을 몇몇 주파수와 채널에만 의존하는 표현으로 변환하는 초기 몇몇 층과 출력으로 다시 매핑하는 마지막 몇몇 층으로 구성된 Convolution Bottleneck (CBN) 구조의 출현을 설명합니다. CBN rank를 정의하여 bottleneck 내에서 유지되는 주파수의 수와 유형을 설명하고, 함수 f를 나타내는 데 필요한 파라미터 놈이 깊이와 CBN rank에 비례한다는 것을 부분적으로 증명합니다. 또한 파라미터 놈이 f의 규칙성에 따라 달라짐을 보여줍니다. 거의 최적의 파라미터 놈을 가진 모든 네트워크는 가중치와 활성화(큰 학습률에서 네트워크가 안정적이라는 가정 하에) 모두에서 CBN 구조를 나타내며, 이는 일반적인 다운샘플링 관행을 뒷받침합니다. 다운샘플링을 사용하더라도 CBN 결과가 여전히 유지됨을 확인하고, 여러 작업에서 CNN이 학습한 함수를 해석하는 데 CBN 구조를 사용합니다.
시사점, 한계점
•
시사점:
◦
CNN의 구조적 특징인 CBN 구조를 규명하고, 그 특징을 수학적으로 분석함으로써 CNN의 작동 원리를 이해하는 데 기여합니다.
◦
CBN rank 개념을 통해 네트워크의 표현 능력과 파라미터 효율성을 분석할 수 있는 새로운 틀을 제공합니다.
◦
다운샘플링의 효과를 CBN 구조를 통해 설명하고 정당화합니다.
◦
CBN 구조를 이용하여 CNN이 학습한 함수를 해석할 수 있는 새로운 방법을 제시합니다.
•
한계점:
◦
큰 학습률에서 네트워크가 안정적이라는 가정 하에 활성화에 대한 CBN 구조 분석을 진행하였습니다. 이 가정이 항상 만족되지 않을 수 있습니다.
◦
CBN rank에 대한 증명이 부분적입니다. 완전한 증명이 필요합니다.
◦
다양한 CNN 아키텍처와 작업에 대한 일반화 가능성에 대한 추가적인 연구가 필요합니다.
