COGNATE는 희소 텐서 프로그램을 가속기에서 최적화하기 위한 새로운 프레임워크입니다. 기존의 ML 기반 비용 모델은 가속기 특성에 따라 많은 데이터가 필요하지만, COGNATE는 일반 목적 하드웨어(예: CPU)의 저렴한 데이터 샘플을 활용하여 비용 모델을 학습하고, 소량의 가속기 데이터로 미세 조정합니다. 이를 통해 하드웨어 플랫폼 간 입력 특징의 동질성을 활용하고 이질성을 효과적으로 완화하여 기존 방법보다 적은 데이터(5%)로 비슷한 성능을 달성합니다. SpMM과 SDDMM 연산에서 각각 평균 1.47배(최대 5.46배), 1.39배(최대 4.22배)의 속도 향상을 보였습니다.
시사점, 한계점
•
시사점:
◦
일반 목적 하드웨어 데이터를 활용하여 초기 단계 가속기의 비용 모델 학습 비용을 크게 줄일 수 있습니다.
◦
기존 방법 대비 적은 데이터로도 높은 정확도의 비용 모델을 학습할 수 있습니다.
◦
SpMM 및 SDDMM 연산에서 상당한 성능 향상을 달성했습니다.
◦
희소 텐서 프로그램 최적화에 대한 새로운 접근 방식을 제시합니다.
•
한계점:
◦
제시된 속도 향상은 특정 연산(SpMM, SDDMM)과 특정 가속기 환경에 국한될 수 있습니다.
◦
다양한 종류의 희소 텐서 프로그램 및 가속기 아키텍처에 대한 일반화 가능성을 추가적으로 검증해야 합니다.
◦
일반 목적 하드웨어와 가속기 간의 데이터 특징 차이가 큰 경우 성능 저하가 발생할 수 있습니다.
