Enabling Unstructured Sparse Acceleration on Structured Sparse Accelerators
Created by
Haebom
저자
Geonhwa Jeong, Po-An Tsai, Abhimanyu R. Bambhaniya, Stephen W. Keckler, Tushar Krishna
개요
본 논문은 심층 신경망(DNN)의 계산 요구사항 증가에 대응하기 위해 희소성을 활용하는 방법을 제안합니다. 기존의 구조적 희소성 지원은 유연성이 부족하고 추가적인 모델 미세 조정이 필요하다는 한계가 있습니다. 본 논문에서는 선형 대수의 분배 법칙을 활용하여 임의의 희소 텐서를 일련의 구조적 희소 텐서로 변환하는 근사 방법을 제시합니다. 이를 위해 DNN의 가중치와 활성화에 고품질 구조적 근사를 적용하는 소프트웨어 프레임워크 TASDER를 개발했습니다. 제안된 방법은 미세 조정 없이 밀집 및 희소 DNN을 가속화하며, 에너지-지연-곱(EDP)을 최대 83% 및 74% 향상시키고 실제 시스템에서 최대 39%의 속도 향상을 달성합니다.