본 논문은 기존 소프트맥스 어텐션의 수치적 불안정성과 긴 추론 토큰 길이에서의 성능 저하 문제를 해결하기 위해 새로운 어텐션 메커니즘을 제안한다. 소프트맥스 연산을 비선형 양성 변환과 $l_1$-정규화 단계로 분해하여, $l_1$-정규화가 모델 성능 유지에 필수적임을 밝혔다. 첫 번째 단계에서는 지수 함수 대신 수치적으로 안정적인 소프트플러스 활성화 함수와 불변 엔트로피 기반의 동적 스케일링 인자를 도입하여 기존 소프트맥스 어텐션을 능가하는 새로운 어텐션 메커니즘을 제시한다. 두 번째 단계에서는 어텐션 분포를 선명하게 하는 재가중치 메커니즘을 도입하여 중요한 가중치는 증폭하고 약한 가중치는 감소시켜 관련 토큰에 더 효과적으로 집중하도록 한다. 이 두 단계 접근 방식을 결합하여 수치적 안정성을 확보하고 긴 문맥 추출 작업 및 표준 다운스트림 벤치마크에서 우수한 결과를 달성하면서, 학습 길이의 16배에서도 거의 일정한 검증 손실을 유지하며 길이 외삽 성능을 획기적으로 향상시킨다.
