본 논문은 신경망의 성능과 동작에 중요한 역할을 하는 활성화 함수를 자동으로 진화시키는 새로운 방법인 Neuvo GEAF를 제시합니다. 기존의 ReLU, sigmoid, tanh와 같은 활성화 함수는 널리 사용되었지만 모든 작업과 데이터셋에 최적의 성능을 제공하지 못할 수 있습니다. Neuvo GEAF는 문법적 진화(GE)를 활용하여 특정 신경망 구조와 데이터셋에 맞춤화된 새로운 활성화 함수를 자동으로 진화시킵니다. 잘 알려진 이진 분류 데이터셋에서의 실험 결과, 동일한 네트워크 구조를 사용하여 ReLU보다 F1-score가 2.4%~9.4% 향상되는 통계적으로 유의미한 결과를 보였습니다. 이는 네트워크 매개변수 수를 늘리지 않고 성능 향상을 달성했음을 의미하며, 자원 제약이 있는 에지 디바이스에서 효율적으로 작동할 수 있는 더 효율적인 신경망을 향한 추세를 뒷받침합니다. 본 논문의 결과는 진화된 활성화 함수가 컴팩트한 네트워크의 성능을 크게 향상시키는 동시에 학습 및 추론 단계 모두에서 에너지 효율성을 유지할 수 있음을 시사합니다.
