Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

KWT-Tiny: RISC-V Accelerated, Embedded Keyword Spotting Transformer

Created by
  • Haebom
Category
Empty

저자

Aness Al-Qawlaq, Ajay Kumar M, Deepu John

개요

본 논문은 RISC-V 플랫폼에서 ARM KWT(Keyword Transformer) 모델의 양자화 및 하드웨어 가속화를 통해 엣지 디바이스에 Transformer 기반 모델을 적용하는 방법을 탐구한다. 64kB RAM에서 베어메탈 C로 실행되도록 맞춤형 엣지 AI 라이브러리를 사용하여 모델을 구현했다. KWT-1은 출력 클래스를 35개에서 2개로 줄여 10%의 정확도 손실만으로 369배 작게 재훈련되었다. 재훈련 및 양자화로 인해 모델 크기는 2.42MB에서 1.65kB로 감소했다. GELU 및 SoftMax 연산을 가속화하는 맞춤형 RISC-V 명령어를 통합하여 추론 속도를 5배 향상시키고 전력 소비를 약 5배 줄였다. 추론 클럭 사이클 수는 2600만에서 550만으로 감소했으며, 면적 오버헤드는 약 29% 발생했다. 이는 저전력 IoT 기기에서 Transformer 기반 모델을 이식하고 가속화하는 실행 가능한 방법을 제시한다.

시사점, 한계점

•
시사점:
◦
Transformer 모델을 엣지 디바이스에 효과적으로 이식하기 위한 양자화 및 하드웨어 가속화 방법론 제시.
◦
맞춤형 RISC-V 명령어 설계를 통한 GELU 및 SoftMax 연산 가속화 및 성능 향상.
◦
저전력 IoT 환경에서 Transformer 모델의 실행 가능성 입증.
•
한계점:
◦
모델 정확도 손실 (10%) 발생.
◦
맞춤형 하드웨어 설계에 따른 면적 오버헤드 (29%) 발생.
◦
특정 KWT 모델 및 RISC-V 플랫폼에 국한된 실험 결과.
◦
다른 Transformer 모델 및 아키텍처로의 일반화 필요.
👍
Made with Slashpage