GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization
Author
- Haebom
Category
Empty
저자
Maoyang Xiang, Tao Luo, Bo Wang
💡 개요
본 논문은 LLM 및 ViT의 엣지 디바이스 배포 시 발생하는 메모리 및 계산 병목 현상을 해결하기 위해 Power-of-Two (PoT) 양자화의 기하학적 한계를 극복하는 Geometric Orthogonal Residual Projection Quantization (GoQuant)을 제안합니다. GoQuant는 듀얼-베이스 기하학적 투영을 통해 적응적으로 고해상도 잔여 격자를 합성하여, 기존 PoT 양자화의 저해상도 문제를 해결하고 하드웨어 효율성을 높입니다.
🔑 시사점 및 한계
•
하드웨어 효율적인 저비트 양자화: GoQuant는 곱셈-연산(MAC)을 시프트-및-덧셈 연산으로 대체하여 엣지 디바이스에서의 연산 부담을 크게 줄입니다.
•
기하학적 제약 극복: 기존 PoT 양자화의 낮은 각도 해상도 문제를 효과적으로 해결하여 고차원 특징 매니폴드의 손실을 최소화합니다.
•
빠른 모델 보정: 해석적 해법을 통해 기존의 기울기 기반 최적화 대비 훨씬 빠른 모델 보정 시간을 제공합니다.
•
잠재적인 복잡성: 듀얼-베이스 투영 및 잔여 격자 합성 과정이 기존 양자화 방식에 비해 알고리즘적 복잡성을 증가시킬 수 있습니다.
•
하드웨어 구현의 최적화: 제안된 연산 방식을 실제 하드웨어에서 최적의 성능으로 구현하기 위한 추가적인 설계 및 최적화 연구가 필요할 수 있습니다.
