본 논문은 표준 점곱(dot-product) 어텐션(DPA)의 기하학적 특성을 분석하고, 이를 개선하기 위한 표현력 있는 어텐션(EA)을 제안합니다. EA는 점곱의 제곱 $(\mathbf{Q}^T\mathbf{K})^2$을 사용하여, query와 key 벡터가 평행하거나 반평행일 때 어텐션을 강화하고, 직교할 때는 억제합니다. 기존 DPA와 달리, EA는 query와 key 벡터가 반평행일 때에도 높은 어텐션 가중치를 부여합니다. 추가적인 계산 비용이나 메모리 요구사항 없이 기존 어텐션 기반 코드에 EA를 도입할 수 있으며, 다양한 자기회귀 예측 작업에서 DPA와 동등하거나 더 나은 성능을 보입니다. 특히 복잡한 작업에서는 DPA보다 성능 향상이 두드러지며, 다중 작업 환경에서도 효과적입니다. 특정 모델 크기에서 EA는 DPA가 달성할 수 없는 수준의 복잡성에서도 100% 성능을 달성합니다.
