ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation

작성자

Haebom

카테고리

Empty

저자

Suyoung Kim, Sunghyun Wee, Hyeonjin Kim, Kyomin Hwang, Hyunho Lee, Nojun Kwak

💡 개요

본 논문은 대규모 언어 모델(LLM) 양자화에서 발생하는 활성화 값 이상치 문제를 해결하기 위한 새로운 방법론인 ReSpinQuant를 제안합니다. ReSpinQuant는 기존의 전역 회전 방식이 갖는 표현력 한계를 극복하고, 계층별 적응 방식의 온라인 계산 오버헤드를 줄이기 위해 잔차 부분 공간 회전을 활용한 오프라인 활성화 회전 융합을 사용합니다. 이를 통해 ReSpinQuant는 높은 표현력과 거의 없는 추론 오버헤드를 동시에 달성하며, W4A4 및 W3A3 양자화에서 최첨단 성능을 보여줍니다.

🔑 시사점 및 한계

•

계층별 적응의 높은 표현력과 전역 회전의 효율성을 결합한 효과적인 LLM 양자화 프레임워크를 제시했습니다.

•

오프라인 활성화 회전 융합을 통해 기존 계층별 양자화 방법론의 온라인 계산 오버헤드 문제를 해결하는 새로운 접근 방식을 제시했습니다.

•

다양한 양자화 설정에서 기존 최신 방법론을 능가하는 성능을 입증하여 LLM 효율성 향상에 기여할 수 있습니다.

•

제안된 방법론의 복잡성이 증가함에 따라 실제 적용 시 추가적인 최적화가 필요할 수 있습니다.

PDF 보기

Made with Slashpage