On the dimension of pullback attractors in recurrent neural networks
Created by
Haebom
Category
Empty
저자
Muhammed Fadera
개요
본 논문은 순환 신경망(RNN)의 일종인 리저버 컴퓨터가 동적 시스템의 관측치에 대해 훈련될 때 임베딩으로 해석될 수 있다는 가설을 연구합니다. 특히, 비자율 동적 시스템 접근 방식을 사용하여, 훈련 및 예측 단계에서 근사되는 리저버 상태 공간의 프랙탈 차원에 대한 상한을 설정합니다. 입력 시퀀스가 Nin 차원 가역 동적 시스템에서 파생될 때 이 집합의 프랙탈 차원이 Nin으로 제한된다는 것을 증명합니다.
시사점, 한계점
•
RNN의 계산 차원 축소에 유용합니다.
•
시계열 데이터의 제한된 관측치로부터 동적 시스템의 프랙탈 차원을 추정하는 데 활용할 수 있습니다.
•
리저버 컴퓨터의 임베딩 특성을 이해하는 데 기여합니다.
•
선형 리저버 시스템의 경우에만 이전에 확립된 결과를 일반화합니다.
•
연구는 훈련 및 예측 단계에서 근사되는 리저버 상태 공간의 프랙탈 차원에 대한 상한을 제공하지만, 실제 프랙탈 차원과 그 차이를 측정하지는 않습니다.
