GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization

작성자

Haebom

카테고리

Empty

저자

Maoyang Xiang, Bo Wang, Tao Luo

💡 개요

대규모 언어 모델(LLM) 및 비전 트랜스포머(ViT)의 엣지 디바이스 배포는 메모리 제약과 MAC 연산의 시간 병목 현상으로 인해 제한됩니다. 저비트 양자화에서 Power-of-Two (PoT)는 비트 시프트 연산으로 MAC을 대체하여 하드웨어 효율성을 높이지만, 낮은 각도 해상도 문제로 인해 성능 저하가 발생합니다. 이를 해결하기 위해 제안된 GoQuant는 듀얼-베이스 기하학적 투영을 통해 잔차 격자를 합성하여 해상도를 높이고, 분석적 솔버를 통해 빠른 모델 보정을 가능하게 합니다.

🔑 시사점 및 한계

•

GoQuant는 기존의 MAC 연산 중심 양자화 방법론(예: AWQ)이 겪는 낮은 각도 해상도 문제를 해결하여, 특히 3비트와 같은 초저비트 환경에서 더 나은 성능을 제공합니다.

•

제안된 분석적 솔버는 계산 집약적인 경사 기반 최적화 방식 대비 훨씬 빠른 전체 모델 보정 시간을 달성하여 실제 적용 가능성을 높였습니다.

•

GoQuant는 LLM 및 ViT뿐만 아니라 표준셀 RTL 합성 결과에서도 긍정적인 하드웨어 효율성 개선을 보여주어, 엣지 디바이스에서의 효율적인 배포에 기여할 수 있습니다.

•

GoQuant는 "strictly shift-and-add operations"를 사용하지만, 여전히 특정 복잡한 연산에서는 최적화의 여지가 있을 수 있으며, 다양한 하드웨어 아키텍처에서의 성능 검증 및 추가적인 최적화 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage