본 논문은 GQA 기반의 사전 훈련된 모델을 MLA 기반 모델로 변환하는 프레임워크인 TransMLA를 제시합니다. TransMLA는 DeepSeek의 코드베이스와 직접 호환되도록 설계되어 vLLM 및 SGlang과 같은 DeepSeek의 최적화 기능을 활용할 수 있습니다. LLaMA-2-7B의 KV 캐시를 93% 압축하여 8K 문맥 길이에서 10.6배의 추론 속도 향상을 달성하면서 의미 있는 출력 품질을 유지합니다. 또한, 여러 벤치마크에서 원래 성능과 동등한 수준을 회복하기 위해 60억 토큰만으로 미세 조정이 가능합니다. TransMLA는 GQA 기반 모델을 MLA 구조로 마이그레이션하는 실용적인 해결책을 제공하며, FP8 양자화 및 다중 토큰 예측과 같은 DeepSeek의 고급 기능과 결합하면 더욱 큰 추론 가속화를 실현할 수 있습니다.
