Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

COGNATE: Acceleration of Sparse Tensor Programs on Emerging Hardware using Transfer Learning

Created by
  • Haebom

저자

Chamika Sudusinghe, Gerasimos Gerogiannis Damitha Lenadora, Charles Block, Josep Torrellas, Charith Mendis

개요

COGNATE는 희소 텐서 프로그램을 가속기에서 최적화하기 위한 새로운 프레임워크입니다. 기존의 ML 기반 비용 모델은 초기 단계 가속기의 경우 많은 데이터가 필요하여 비효율적이라는 문제점을 해결하기 위해, 일반 목적 하드웨어(예: CPU)의 저렴한 데이터 샘플을 활용하여 비용 모델을 학습하고, 이후 새로운 하드웨어에서 소량의 데이터로 미세 조정하는 방식을 사용합니다. 하드웨어 플랫폼 간 입력 특징의 동질성을 활용하고 이질성을 효과적으로 완화하여, 기존 가속기 특화 모델 대비 5%의 데이터만으로도 비슷한 성능을 달성합니다. SpMM과 SDDMM 연산에서 평균 1.47배(최대 5.46배) 및 1.39배(최대 4.22배)의 속도 향상을 보였습니다.

시사점, 한계점

시사점:
일반 목적 하드웨어 데이터를 활용하여 초기 단계 가속기 최적화를 위한 비용 모델 학습을 가능하게 함으로써, 데이터 수집 비용과 시간을 크게 절감할 수 있습니다.
기존 방법 대비 적은 양의 데이터로도 우수한 성능을 달성하여, 새로운 하드웨어에 대한 적응력을 높였습니다.
SpMM 및 SDDMM 연산에서 상당한 속도 향상을 달성했습니다.
한계점:
제시된 속도 향상은 특정 희소 텐서 프로그램 및 가속기 환경에 국한될 수 있습니다. 다양한 유형의 희소 텐서 프로그램과 가속기 아키텍처에 대한 일반화 가능성을 추가적으로 검증해야 합니다.
일반 목적 하드웨어와 가속기 간의 특징 차이가 크다면, COGNATE의 성능이 저하될 가능성이 있습니다.
CPU 등 일반 목적 하드웨어에서의 데이터 샘플링이 가속기의 특징을 충분히 반영하지 못할 가능성이 존재합니다. 샘플링 전략의 개선이 필요할 수 있습니다.
👍