본 논문은 신경망에서 활성화 함수 선택의 중요성에 주목하여, 추론 시 계산 효율성을 유지하면서 각 뉴런에 최적의 활성화 함수를 학습시키는 SmartMixed라는 2단계 훈련 전략을 제안한다. 첫 번째 단계에서는 미분 가능한 hard-mixture 메커니즘을 사용하여 ReLU, Sigmoid, Tanh, Leaky ReLU, ELU, SELU와 같은 후보 활성화 함수 풀에서 뉴런이 적응적으로 선택한다. 두 번째 단계에서는 학습된 선택에 따라 각 뉴런의 활성화 함수를 고정하여, 최적화된 벡터 연산을 지원하는 계산 효율적인 네트워크를 구축한다. MNIST 데이터셋을 사용하여 다양한 깊이의 피드포워드 신경망에 SmartMixed를 평가한 결과, 서로 다른 레이어의 뉴런이 활성화 함수에 대한 뚜렷한 선호도를 보이며, 신경망 아키텍처 내 기능적 다양성에 대한 통찰력을 제공한다.
