본 논문은 텐서 기반 연산을 어텐션 메커니즘에 통합한 새로운 프레임워크인 딥 텐서 네트워크(Deep Tensor Network)를 제시합니다. 텐서 곱의 대수적 구조를 활용하여 기존의 dot-product 어텐션을 일반화하고, 고차원 토큰 의존성을 포착하는 텐서 어텐션(Tensor Attention)과 텐서 상호작용(Tensor Interaction)이라는 새로운 연산자를 정의합니다. 텐서 곱의 보편적인 성질에 기반한 이론적 분석을 통해 계산 복잡도를 줄여 효율성을 향상시키는 동시에 시퀀셜 데이터의 복잡한 상호작용을 모델링하는 원칙적인 방법을 제공함을 보여줍니다. 실험적 평가를 통해 제안된 딥 텐서 네트워크가 다양한 딥러닝 작업에서 최첨단 성능을 향상시키는 강력한 구성 요소로 작용할 수 있음을 입증합니다.
