본 논문은 Transformer의 비선형성을 강화하여 성능을 향상시키는 새로운 활성화 함수인 PolyCom을 제안합니다. 기존의 ReLU, GeLU, SwishGLU 등과 달리, PolyCom은 다항식 조합을 기반으로 하며, 이론적으로 최적의 근사율을 달성함을 수학적으로 증명합니다. 이는 PolyCom을 사용하는 네트워크가 Sobolev 공간에서 일반적인 매끄러운 함수를 근사하는 데 최소한의 파라미터만 필요함을 의미합니다. 대규모 언어 모델(LLM)의 사전 학습 설정에서 실험을 진행하여, PolyCom이 정확도와 수렴 속도 측면에서 기존 활성화 함수보다 우수한 성능을 보임을 실험적으로 확인하였습니다. 코드는 GitHub에서 공개됩니다.
