Bài báo này giới thiệu BASE-Q, một phương pháp được đề xuất nhằm nâng cao hiệu quả của các kỹ thuật xoay trong quy trình lượng tử hóa của các mô hình ngôn ngữ quy mô lớn (LLM). Các phương pháp lượng tử hóa dựa trên xoay hiện tại gặp phải tình trạng sai lệch trung bình kênh và lỗi làm tròn và cắt xén gia tăng do phân phối kích hoạt Gauss. BASE-Q giảm thiểu hiệu quả các lỗi này bằng cách kết hợp hiệu chỉnh độ lệch và tỷ lệ bất đối xứng. Hơn nữa, nó loại bỏ việc lan truyền ngược toàn mô hình tốn bộ nhớ thông qua tối ưu hóa từng khối. Kết quả thử nghiệm trên nhiều LLM và chuẩn mực khác nhau cho thấy BASE-Q giảm tổn thất độ chính xác lần lượt là 50,5%, 42,9% và 29,2% so với các phương pháp hiện có (QuaRot, SpinQuant và OSTQuant).
