본 논문은 심층 신경망(DNN)에서 행렬 곱셈(MatMul)을 대체할 저렴한 대안 이중선형 연산자인 Strassen-Tile(STL)을 제안한다. 기존 GPU 하드웨어, 특히 NVIDIA TensorCore의 기능을 활용하여 MatMul을 가속화하려는 많은 시도와 달리, STL은 네트워크의 학습 가능한 매개변수 수를 감소시키지 않고(실제로 증가시키고) 정확도 손실을 완화하는 최초의 GPU 기반 가속화 기술이다. STL은 MatMul보다 표현력이 뛰어나면서도 평가에 필요한 FLOP 수가 훨씬 적다. STL의 핵심 아이디어는 가중치와 활성화 타일에서 학습 가능한 인코더를 사용하여 국소적인 기저 변환을 수행한 후, 타일 간에 일괄적인 원소별 곱셈을 수행하고, 빠른 행렬 및 다항식 곱셈의 대수적 파이프라인에서 영감을 받은 최종 디코딩 변환을 수행하는 것이다. ImageNet-1K에서의 T2T-ViT 실험과 Slim Pajama 데이터셋에서의 TinyLlama fine-tuning 실험을 통해 STL의 속도 및 정확도 향상을 보여준다. 마지막으로, STL을 위한 범용 인코더를 발견하는 군론적 접근 방식을 논의하며, 이는 근사 행렬 곱셈(AMM)을 통한 빠른 블랙박스 가속화로 이어질 수 있다.
