QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge
Created by
Haebom
Category
Empty
저자
Xuan Shen, Weize Ma, Jing Liu, Changdi Yang, Rui Ding, Quanyi Wang, Henghui Ding, Wei Niu, Yanzhi Wang, Pu Zhao, Jun Lin, Jiuxiang Gu
개요
본 논문은 자원 제약이 있는 에지 디바이스, 특히 ASIC(Application-Specific Integrated Circuits) 상에서 정확한 심도 추정 모델을 배포하는 어려움을 해결하기 위해, 사후 양자화 기법을 활용한 경량화된 심도 추정 모델 QuartDepth를 제안합니다. QuartDepth는 가중치와 활성화 함수 모두를 4-bit 정밀도로 양자화하여 모델 크기와 계산 비용을 줄입니다. 성능 저하를 최소화하기 위해 활성화 함수 연마 및 보정 알고리즘과 가중치 재구성 기법을 도입하였으며, 커널 융합과 사용자 지정 명령어 프로그래밍을 지원하는 유연하고 프로그래밍 가능한 하드웨어 가속기를 설계했습니다. 실험 결과, QuartDepth는 ASIC 상에서 경쟁력 있는 정확도와 빠른 추론 속도, 높은 에너지 효율을 달성하여 고성능 심도 추정과 실제 에지 디바이스 적용 간의 격차를 해소합니다.
시사점, 한계점
•
시사점:
◦
사후 양자화 기법을 통해 고성능 심도 추정 모델을 에지 디바이스(ASIC)에 효율적으로 배포할 수 있는 방법 제시.
◦
활성화 함수 연마 및 보정 알고리즘, 가중치 재구성 기법을 통해 양자화로 인한 성능 저하 최소화.
◦
커널 융합과 사용자 지정 명령어 프로그래밍을 지원하는 유연한 하드웨어 가속기 설계.
◦
ASIC 상에서 경쟁력 있는 정확도, 빠른 추론 속도 및 높은 에너지 효율 달성.
•
한계점:
◦
제안된 방법의 효율성은 특정 ASIC 아키텍처에 종속적일 수 있음.
◦
4-bit 양자화는 정확도 저하를 완전히 방지할 수 없을 수 있음. 더 높은 정밀도의 양자화가 필요한 경우도 있을 수 있음.
