본 논문은 기존 Transformer의 확장된 점곱 어텐션 메커니즘의 높은 연산량과 에너지 소비 문제를 해결하기 위해 새로운 Transformer 아키텍처인 EcoTransformer를 제안합니다. EcoTransformer는 라플라시안 커널을 사용한 컨볼루션을 통해 출력 컨텍스트 벡터를 생성하며, 쿼리와 키 간의 거리는 L1 메트릭으로 측정됩니다. 점곱 기반 어텐션과 달리 행렬 곱셈이 필요 없어 연산량을 크게 줄입니다. NLP, 생물정보학, 비전 작업에서 기존의 확장된 점곱 어텐션과 비슷하거나 더 나은 성능을 보이며, 에너지 소비량은 상당히 감소시킵니다.
