본 논문은 적응형 필터 어텐션(AFA)이라는 새로운 어텐션 메커니즘을 제안합니다. AFA는 학습 가능한 동적 모델을 어텐션 가중치 계산에 직접 통합합니다. 쿼리와 키를 직접 비교하는 대신, 입력 시퀀스를 선형 확률 미분 방정식(SDE)의 불연속 관측값으로 모델링합니다. 동시에 대각화 가능한 상태 행렬과 노이즈 공분산을 갖는 선형 동적 모델을 적용하여, 미분 리야푸노프 방정식의 폐쇄형 해를 이용하여 동적인 상호 불확실성을 효율적으로 전파합니다. 어텐션은 이 선형 SDE에 대한 최대 우도 해로써 자연스럽게 나타나며, 어텐션 가중치는 전파된 상호 정밀도에 기반한 강건한 잔차 재가중치에 해당합니다. 상태 행렬의 고유값에 대한 추가적인 제약 조건을 부과하면 표준 어텐션과 동일한 계산 및 메모리 복잡도를 갖는 단순화된 변형을 얻을 수 있습니다. 동적인 요소와 프로세스 노이즈가 사라지는 극한, 그리고 소각도 근사를 사용하면 일반적인 내적 어텐션을 복구할 수 있습니다.
