본 논문은 트랜스포머, 상태 공간 모델(SSM), 게이트 선형 RNN 등 딥 시퀀스 모델이 과거 값 벡터의 선형 조합으로 출력을 계산한다는 공통점을 파악하고, 이를 명확하게 나타내는 통합 프레임워크를 개발했습니다. 이 프레임워크는 선형 조합 계수를 임펄스 입력에 의해 구동되는 자율 선형 동적 시스템의 출력으로 간주합니다. 이 관점을 통해 다양한 아키텍처의 공통 수학적 특징을 밝혀내고, RNN, SSM, softmax 어텐션 등을 포괄합니다. 모델 성능을 벤치마크로 평가하는 기존 연구와 달리, 본 논문은 아키텍처 선택과 모델 특성 간의 연관성을 파악하는 설계 원리를 제시합니다. 이를 통해 표현력과 효율적인 구현 간의 균형, 입력 선택성에 대한 기하학적 제약 조건, 수치적으로 안정적인 훈련 및 정보 유지를 위한 안정성 조건을 식별합니다.
