TPU-Gen: LLM-Driven Custom Tensor Processing Unit Generator
Created by
- Haebom
Category
Empty
저자
Deepak Vungarala, Mohammed E. Elbtity, Sumiya Syed, Sakila Alam, Kartik Pandit, Arnob Ghosh, Ramtin Zand, Shaahin Angizi
개요
본 논문은 심층 신경망(DNN)의 복잡성과 규모 증가에 따라 필수적인 TPU(Tensor Processing Units) 설계의 자동화를 위한 최초의 대규모 언어 모델(LLM) 기반 프레임워크인 TPU-Gen을 제시한다. TPU-Gen은 시스토릭 어레이 아키텍처에 중점을 두고 정확한 및 근사적인 TPU 생성 프로세스를 자동화한다. 다양한 공간 배열 설계와 근사적인 곱셈-누산 유닛을 포함하는 정교하게 큐레이션된 종합적이고 오픈소스 데이터셋을 활용하여, 다양한 DNN 작업에 대한 설계 재사용, 적응 및 사용자 정의를 가능하게 한다. Retrieval-Augmented Generation (RAG)을 활용하여 환각 문제를 해결하고, 고수준 아키텍처 사양을 최적화된 저수준 구현으로 변환하는 효과적인 하드웨어 생성 파이프라인을 제공한다. 실험 결과, 수동 최적화 기준 값 대비 면적과 전력을 각각 평균 92%와 96% 감소시키는 우수한 성능, 전력 및 면적 효율성을 보여준다.
시사점, 한계점
•
시사점:
◦
LLM 기반의 TPU 자동 설계 프레임워크를 최초로 제시하여, TPU 설계의 효율성 및 속도 향상에 기여.
◦
수동 설계 대비 면적 및 전력 소모를 획기적으로 감소시키는 성능을 입증.
◦
오픈소스 데이터셋 제공을 통해 TPU 설계의 재사용 및 사용자 정의 용이.
◦
차세대 LLM 기반 설계 자동화 도구 발전에 새로운 기준 제시.
•
한계점:
◦
현재는 시스토릭 어레이 아키텍처에 국한. 다른 아키텍처로의 확장성 검증 필요.
◦
데이터셋의 범위가 넓다고는 하나, 실제 다양한 DNN 작업에 대한 일반화 성능 검증 필요.
◦
LLM 기반이므로, LLM의 한계(예: 환각)가 TPU 설계 결과에 미치는 영향에 대한 추가 분석 필요.
