본 논문은 순환 신경망(RNN)의 초기화, 특히 장기간 추론 작업에서의 초기화 중요성을 다룹니다. 기존의 Glorot 초기화는 무한한 너비와 고정된 길이를 가정하는데, 이는 긴 시퀀스를 처리하는 RNN에는 현실적이지 않습니다. 본 논문은 Glorot 초기화가 사실 불안정하며, 작은 양의 스펙트럼 반경 편차가 시간에 따라 증폭되어 은닉 상태가 폭발하는 것을 보입니다. 이론적 분석을 통해 길이가 $t = O(\sqrt{n})$ (n은 은닉층 너비)인 시퀀스는 불안정성을 유발하기에 충분함을 보여줍니다. 따라서 Glorot 초기화를 차원을 고려하여 스펙트럼 반경을 1보다 약간 작게 조정하는 방법을 제안하여 신호의 급격한 폭발이나 감소를 방지합니다. 이는 표준 초기화 방식이 긴 시퀀스 영역에서 작동하지 않을 수 있음을 시사하며, 안정적인 순환 초기화를 위한 별도의 이론적 연구가 필요함을 보여줍니다.
