본 논문은 훈련 길이를 훨씬 초과하는 테스트 시퀀스에 대해 정확도가 저하되는 심층 시퀀스 모델의 한계를 해결하기 위해, 확장 가능한 새로운 위치 인코딩 메커니즘인 PRISM(Probabilistic Relative-position Implicit Superposition Model)을 제안합니다. PRISM은 미분 가능한 히스토그램 필터 업데이트를 통해 연속적인 상대적 위치를 학습하고, 기존의 결정적 임베딩이 아닌 확률적 중첩을 통해 위치 불확실성을 유지합니다. 실험 결과, PRISM은 산술 연산(덧셈, 곱셈), SCAN 구성성 작업, DeepMind의 최근 데이터셋에서 파생된 복잡한 복사 변형 등의 알고리즘 벤치마크에서 이전에는 처리할 수 없었던 시퀀스 길이로 성공적으로 일반화하여 최첨단의 길이 외삽 성능을 달성합니다. 또한 PRISM의 확률적 위치 인코딩은 예리하고 해석 가능한 내부 상태를 유지하여 신뢰할 수 있는 길이 일반화에 대한 이론적 기반을 제공합니다.
