본 논문은 AIoT 시스템의 온디바이스 시계열 예측을 위해 최적화된 Transformer 하드웨어 가속기 설계를 제시합니다. 정수 전용 양자화와 양자화 인식 훈련을 통합하여 6비트 및 4비트 양자화된 Transformer 모델을 구현했으며, 이는 관련 연구의 8비트 양자화 모델과 유사한 정밀도를 달성했습니다. 임베디드 FPGA(Xilinx Spartan-7 XC7S15)를 사용하여 Transformer 모델을 임베디드 IoT 장치에 배포하는 가능성을 검토하고, 온디바이스 추론에 대한 정밀도, 자원 활용, 타이밍, 전력 및 에너지 소비를 분석했습니다.
