본 논문은 다양한 딥러닝 아키텍처(합성곱, 순환, 자기-주의)를 통합하는 행렬 순서 프레임워크를 제시합니다. 합성곱, 순환, 자기-주의 연산을 희소 행렬 곱셈으로 표현하여, 각각 상삼각 행렬, 하삼각 행렬, 3차 텐서 분해로 구현합니다. 경미한 가정 하에 표준 CNN, RNN, Transformer 레이어와의 대수적 동형을 증명하고, 이미지 분류, 시계열 예측, 언어 모델링/분류 작업에서 기존 모델과 동등하거나 우수한 성능을 보임을 실험적으로 확인합니다. 아키텍처 설계를 희소 패턴 선택으로 단순화하여 GPU 병렬 처리와 기존의 대수적 최적화 도구를 활용할 수 있도록 합니다.
