Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs
Created by
Haebom
저자
Tao Ji, Bin Guo, Yuanbin Wu, Qipeng Guo, Lixing Shen, Zhan Chen, Xipeng Qiu, Qi Zhang, Tao Gui
개요
DeepSeek에서 제안한 Multi-head Latent Attention (MLA)은 Key-Value (KV) 캐시를 잠재 벡터로 압축하여 효율적이고 경제적인 추론을 가능하게 하는 혁신적인 아키텍처입니다. 본 논문은 MHA에서 MLA로의 전환을 위한 최초의 데이터 효율적인 미세 조정 방법인 MHA2MLA를 제안합니다. MHA2MLA는 partial-RoPE와 저랭크 근사를 포함하며, 사전 훈련된 모델의 매개변수를 기반으로 한 joint SVD 근사를 통해 작은 데이터셋만으로도 성능을 회복할 수 있습니다. 이는 추론 비용을 절감하고 KV 캐시 양자화와 같은 압축 기술과의 통합을 가능하게 합니다. Llama2-7B 모델의 경우, KV 캐시 크기를 92.19% 줄이면서 LongBench 성능을 0.5%만 감소시켰습니다.
시사점, 한계점
•
시사점:
◦
MHA에서 MLA로의 효율적인 전환을 위한 데이터 효율적인 미세 조정 방법 제안.
◦
작은 데이터셋(0.3% ~ 0.6%)으로도 성능 회복 가능.
◦
추론 비용 절감 및 KV 캐시 양자화와 통합 가능.
◦
Llama2-7B 모델에서 KV 캐시 크기를 92.19% 감소시키면서 성능 저하 최소화.
•
한계점:
◦
본 논문에서 제시된 방법론의 일반화 가능성 및 다른 LLM 아키텍처에 대한 적용 가능성에 대한 추가 연구 필요.
