본 논문은 기존 self-attention 메커니즘의 softmax 연산 기반 한계(positional embedding 필요성, 길이 일반화 어려움)를 극복하기 위해 stick-breaking process 기반의 새로운 attention 메커니즘을 제안합니다. stick-breaking process를 통해 각 토큰에 대한 attention weight를 순차적으로 할당하며, 이는 자연스럽게 recency bias를 반영합니다. 기존 softmax+RoPE 기반 attention을 stick-breaking attention으로 대체하여 실험한 결과, 길이 일반화 성능과 downstream task 성능에서 경쟁력 있는 결과를 보였으며, 특히 $2^{11}$ context window로 학습된 모델이 $2^{14}$ context window에서도 perplexity 개선을 보이는 등 길이 일반화에 강점을 보였습니다. 또한, 수치적으로 안정적인 stick-breaking attention 구현 및 Flash Attention과의 통합 방법도 제시합니다.
