본 논문은 Transformer 기반 아키텍처에서 소프트맥스를 이용한 어텐션 메커니즘의 한계를 지적하고, 이를 개선하기 위한 새로운 방법을 제시합니다. 소프트맥스는 모든 토큰에 대한 확률 분포를 생성하는데, 이는 고정된 크기의 패턴에 대한 정확한 집중이 필요한 작업에서는 비효율적입니다. 긴 시퀀스에서는 비정보 토큰이 어텐션 확률 질량을 축적하여 분산과 표현 붕괴를 야기합니다. 본 논문에서는 α-entmax를 이용한 스파스 어텐션 메커니즘이 이러한 문제를 해결할 수 있음을 보여줍니다. α-entmax는 무관한 토큰에 0을 할당할 수 있기 때문입니다. 또한, 학습 가능한 온도 매개변수를 가진 Adaptive-Scalable Entmax (ASEntmax)를 제안하여 스파스(패턴 중심)와 덴스(소프트맥스 유사) 영역 간의 보간을 허용합니다. 마지막으로, 적절한 위치 인코딩 설계를 통해 고정된 크기의 패턴을 찾고 일반화하는 능력을 향상시킬 수 있음을 보여줍니다. ASEntmax와 적절한 위치 인코딩을 표준 Transformer 계층에 통합함으로써, 긴 컨텍스트 일반화에서 소프트맥스, 스케일러블 소프트맥스, 고정 온도 α-entmax 기준 모델보다 뛰어난 성능을 달성합니다.
