본 논문은 대규모 언어 모델(LLM)과 같은 생성형 AI 서비스에 대한 수요 증가에 따라 계산 효율과 에너지 소비를 최적화하는 전문 하드웨어 아키텍처의 필요성을 다룹니다. Tenstorrent Grayskull e75 RISC-V 가속기의 기본 선형 대수 커널 성능을 감소된 수치적 정밀도(LLM 계산의 기본 연산)에서 평가합니다. Grayskull의 실행 모델, 그리드 크기, 행렬 차원, 데이터 형식 및 수치적 정밀도가 계산 효율에 미치는 영향에 대한 자세한 특성 분석을 제시합니다. 또한 Intel Sapphire Rapids 프로세서와 두 개의 NVIDIA GPU(V100 및 A100)를 포함한 텐서 가속 기능을 갖춘 최첨단 아키텍처와 Grayskull의 성능을 비교합니다. NVIDIA GPU가 원시 성능을 지배하지만, Grayskull은 전력 소비와 계산 처리량 간의 경쟁력 있는 절충안을 보여주며 BF16에서 최대 1.55 TFLOPs/Watt에 도달합니다.
