본 논문은 대규모 언어 모델의 배포 비용을 줄이기 위한 효율적인 후처리 저랭크 근사 프레임워크인 A³를 제안합니다. 기존 방법들의 한계점인 개별 선형 계층의 출력 오차 최소화에만 집중하고 트랜스포머의 구조적 특징을 고려하지 않으며, 큰 가중치 행렬을 두 개의 작은 저랭크 행렬로 분해하여 추가적인 연산 오버헤드를 발생시키는 문제를 해결하기 위해, A³는 트랜스포머 계층을 QK, OV, MLP 세 가지 기능적 구성 요소로 분할하고 각 구성 요소에 대한 분석적 해를 제공하여 은닉 차원 크기를 줄이면서 기능적 손실(어텐션 점수, 어텐션 출력, MLP 출력의 오차)을 최소화합니다. 이를 통해 모델 크기, KV 캐시 크기, FLOPs를 감소시키면서 런타임 오버헤드를 발생시키지 않습니다. 실험 결과, A³는 기존 최고 성능(SoTA)을 능가하는 성능을 유지함을 보여줍니다. 예를 들어, LLaMA 3.1-70B에 적용했을 때 WikiText-2에서 4.69의 perplexity를 달성하여 기존 SoTA의 7.87보다 3.18 개선했습니다. 또한 KV 캐시 압축, 양자화, 혼합 랭크 할당 등 다양한 활용성을 보여줍니다.
