Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enabling Unstructured Sparse Acceleration on Structured Sparse Accelerators

Created by
  • Haebom

저자

Geonhwa Jeong, Po-An Tsai, Abhimanyu R. Bambhaniya, Stephen W. Keckler, Tushar Krishna

개요

본 논문은 심층 신경망(DNN)의 계산 요구사항 증가에 대응하기 위해 희소성을 활용하는 방법을 제안합니다. 기존의 구조적 희소성 지원은 유연성이 부족하고 추가적인 모델 미세 조정이 필요하다는 한계가 있습니다. 본 논문에서는 선형 대수의 분배 법칙을 활용하여 임의의 희소 텐서를 일련의 구조적 희소 텐서로 변환하는 근사 방법을 제시합니다. 이를 위해 DNN의 가중치와 활성화에 고품질 구조적 근사를 적용하는 소프트웨어 프레임워크 TASDER를 개발했습니다. 제안된 방법은 미세 조정 없이 밀집 및 희소 DNN을 가속화하며, 에너지-지연-곱(EDP)을 최대 83% 및 74% 향상시키고 실제 시스템에서 최대 39%의 속도 향상을 달성합니다.

시사점, 한계점

•
시사점:
◦
구조적 희소 하드웨어에서 비구조적 희소 DNN을 가속화하는 새로운 방법 제시.
◦
미세 조정 없이 다양한 DNN에 적용 가능.
◦
에너지 효율 및 성능 향상을 통한 컴퓨팅 자원 절약.
◦
실제 시스템에서의 성능 검증을 통해 실용성 입증.
•
한계점:
◦
제안된 근사 방법의 정확도 한계.
◦
특정 하드웨어 아키텍처에 대한 의존성.
◦
다양한 DNN 구조 및 크기에 대한 일반화 성능 검증 필요.
👍
Made with Slashpage