본 논문은 다양한 심층 신경망 아키텍처(합성곱, 순환, 자기-주의)의 공통점을 희소 행렬 곱셈으로 통합하는 새로운 프레임워크를 제시합니다. 합성곱은 상삼각 행렬을 통해 1차 변환으로, 순환은 하삼각 행렬을 통해 단계적 업데이트로, 자기-주의는 3차 텐서 분해로 각각 표현됩니다. 저자는 약한 가정 하에 표준 CNN, RNN, Transformer 레이어와의 대수적 동형성을 증명하고, 이미지 분류, 시계열 예측, 언어 모델링/분류 작업에 대한 실험 결과를 통해 희소 행렬 공식이 기존 모델 성능에 필적하거나 능가하며, 비슷하거나 더 적은 epoch 수로 수렴함을 보여줍니다. 이러한 접근 방식은 아키텍처 설계를 희소 패턴 선택으로 단순화하여 GPU 병렬 처리와 기존의 대수적 최적화 도구 활용을 가능하게 합니다.
