본 논문은 텐서 네트워크 분해를 이용하여 신경망의 가중치 행렬을 고차원 텐서로 변환하는 텐서화된 신경망(TNNs)에 대한 관점을 제시합니다. TNNs는 대규모 신경망의 모델 압축 전략으로서 가능성을 보여주었지만, 아직 주류 딥러닝에서는 활용되지 않고 있습니다. 논문에서는 TNNs의 잠재력과 현재 한계를 논하며, 압축 이상으로 독특한 확장성과 해석성을 지닌 유연한 아키텍처 프레임워크로서의 가치를 강조합니다. TNNs의 핵심 특징인 결합 색인(bond indices)은 기존 네트워크에는 없는 새로운 잠재 공간을 도입하여 계층 간 특징 진화에 대한 심층적인 통찰력을 제공할 수 있습니다. 마지막으로 현대 딥러닝 워크플로우에서 TNNs의 확장 및 채택에 대한 실질적인 장벽을 극복하기 위한 몇 가지 주요 연구 방향을 제시합니다.
