본 연구는 비선형 활성화 함수를 갖는 순환 신경망(RNN)의 연속 시간 역학을 조사하여, 정적 고정점으로 수렴하지 않고 영구적인 진동 거동을 나타내는 조건을 확인하고자 합니다. 선형 및 비선형 구성 모두에서 안정적인 한계 순환을 가능하게 하는 데 비대칭 행렬이 근본적임을 밝히고, 쌍곡 탄젠트와 유사한 활성화 함수(홀수, 유계, 연속)가 상태 공간에서 운동 불변량을 보장하여 이러한 진동 역학을 유지함을 보여줍니다. 수치 시뮬레이션을 통해 비선형 활성화 함수가 한계 순환을 유지할 뿐만 아니라 시스템 통합 프로세스의 수치적 안정성을 향상시켜 전방 오일러 방법과 일반적으로 관련된 불안정성을 완화함을 보여줍니다. 이 분석의 실험 결과는 복잡한 시간적 의존성을 포착할 수 있는 신경망 아키텍처 설계, 즉 순환 모델의 기억 능력을 향상시키기 위한 전략에 대한 실용적인 고려 사항을 강조합니다.
