본 논문은 시퀀스 모델의 학습 능력을 향상시키기 위해 개발된 새로운 활성화 함수인 squared Sigmoid TanH (SST)에 대해 설명합니다. SST는 Sigmoid 및 TanH 활성화 함수를 사용하는 시퀀스 모델의 한계를 극복하기 위해 제안되었으며, 특히 제한된 데이터셋에서 희소 패턴을 효과적으로 모델링하는 데 초점을 맞춥니다. SST는 활성화를 제곱하여 강하고 약한 활성화 간의 차이를 증폭시키고, 이를 통해 기울기 흐름과 정보 필터링을 개선합니다. 다양한 응용 분야에서 SST를 적용한 LSTM 및 GRU 모델의 성능을 평가하고, 기존 활성화 함수를 사용하는 모델보다 우수한 성능을 보임을 실험적으로 증명합니다.
