본 논문은 대규모 언어 모델의 배포 비용을 줄이기 위한 새로운 후처리 저랭크 근사 프레임워크인 A³를 제안합니다. 기존 방법들의 한계인 개별 선형 계층의 출력 오차 최소화에만 집중하고 Transformer의 구조적 특성을 고려하지 않으며, 큰 가중치 행렬을 두 개의 작은 저랭크 행렬로 분해하여 추가적인 연산 오버헤드를 발생시키는 문제를 해결합니다. A³는 Transformer 계층을 QK, OV, MLP 세 가지 기능적 구성 요소로 분리하고, 각 구성 요소에 대한 해석적 해를 제공하여 히든 차원 크기를 줄이면서 기능적 손실(어텐션 점수, 어텐션 출력, MLP 출력의 오차)을 최소화합니다. 이를 통해 모델 크기, KV 캐시 크기, FLOPs를 추가적인 런타임 오버헤드 없이 직접적으로 줄입니다. 실험 결과, A³는 기존 최고 성능(SoTA)을 능가하는 성능을 유지하며, 예를 들어 동일한 계산 및 메모리 감소 비율에서 LLaMA 3.1-70B의 WikiText-2 perplexity를 7.87에서 4.69로 낮추었습니다. 또한 KV 캐시 압축, 양자화, 혼합 랭크 할당 등의 다양한 활용 가능성을 보여줍니다.
