본 논문은 대규모 언어 모델의 배포 비용을 줄이기 위한 효율적인 후처리 저랭크 근사 프레임워크인 A³를 제안합니다. 기존의 저랭크 근사 방법들이 개별 선형 계층의 출력 오차만 최소화하고 Transformer의 구조적 특징을 고려하지 않으며, 큰 가중치 행렬을 두 개의 작은 저랭크 행렬로 분해하여 추가적인 연산 오버헤드를 발생시키는 한계를 극복하기 위해, A³는 Transformer 계층을 QK, OV, MLP 세 가지 기능적 구성 요소로 분리하여 각 구성 요소의 기능적 손실(어텐션 점수, 어텐션 출력, MLP 출력의 오차)을 최소화하면서 은닉 차원 크기를 줄이는 분석적 해법을 제공합니다. 이를 통해 모델 크기, KV 캐시 크기 및 FLOPs를 런타임 오버헤드 없이 직접 줄이고, 단일 선형 계층 손실 최적화에서 종단 간 성능 향상으로 최적화 문제를 발전시키는 새로운 관점을 제시합니다. 실험 결과, A³는 기존 최고 성능(SoTA)을 능가하는 성능을 유지하며, 예를 들어 동일한 계산 및 메모리 감소 비율에서 LLaMA 3.1-70B의 WikiText-2 perplexity를 7.87에서 4.69로 3.18 개선했습니다. 또한 KV 캐시 압축, 양자화 및 혼합 랭크 할당 등의 다양한 활용 가능성도 보여줍니다.
