본 논문은 심층 신경망 최적화에서 활성화 함수 설계의 중요성을 강조하며, 기존 Swish와 GELU 함수의 장점을 결합한 새로운 활성화 함수 SG-Blend를 제안합니다. SG-Blend는 Swish의 대칭적 변형인 SSwish와 GELU를 학습 가능한 매개변수를 통해 동적으로 보간하여 결합합니다. SSwish의 제어된 비단조성과 대칭성, 그리고 GELU의 부드러운 확률적 특성을 활용하여 모델 표현력과 기울기 안정성 간의 균형을 더욱 향상시키는 것을 목표로 합니다. 다양한 모달리티와 아키텍처에 대한 실험 결과, 자연어 처리 및 컴퓨터 비전 작업에서 기존 최고 성능 모델들을 능가하는 성능 향상을 보였으며, 계산 비용이 거의 증가하지 않는다는 장점이 있습니다.
