본 논문은 트랜스포머의 고정된 컨텍스트 윈도우와 자가-주의 메커니즘의 시간/메모리 비용 문제를 해결하기 위해, 주의와 재귀적 구조를 벗어난 새로운 기반 아키텍처인 Avey를 제안합니다. Avey는 랭커와 자기 회귀 신경 프로세서를 결합하여 주어진 토큰에 가장 적합한 토큰만 선택하고 컨텍스트화합니다. 이를 통해 시퀀스 길이를 컨텍스트 너비에서 분리하여 임의로 긴 시퀀스를 효과적이고 효율적으로 처리할 수 있습니다. 실험 결과, Avey는 다양한 단거리 NLP 벤치마크에서 트랜스포머와 유사한 성능을 보였으며, 장거리 의존성 모델링이 필요한 작업에서 훨씬 뛰어난 성능을 보였습니다.
