본 논문은 기존 소프트맥스 어텐션의 수치적 불안정성 및 긴 추론 토큰 길이에서의 성능 저하 문제를 해결하는 새로운 어텐션 메커니즘을 제안합니다. 소프트맥스 연산을 비선형 변환과 $l_1$-norm으로 분해하고, $l_1$-norm이 모델 성능 유지에 필수적임을 밝힙니다. 소프트플러스 활성화 함수를 사용하고 불변 엔트로피 기반의 동적 스케일링 요소를 도입하여 다양한 추론 길이에서 기존 소프트맥스 어텐션보다 성능이 우수한 새로운 어텐션 메커니즘을 제시합니다. 또한, 중요한 어텐션 가중치를 증폭하고 약한 가중치를 감소시키는 재가중치 부여 메커니즘을 도입하여 긴 토큰 길이에서도 성능을 유지하며, 학습 토큰 길이의 16배 길이에서도 거의 일정한 검증 손실을 유지하고 다운스트림 벤치마크에서 우수한 결과를 달성합니다.
