본 논문은 GQA 기반의 사전 훈련된 모델을 MLA 기반 모델로 원활하게 변환하는 프레임워크인 TransMLA를 제시합니다. TransMLA는 DeepSeek의 코드베이스와 직접 호환되도록 설계되어 vLLM 및 SGlang과 같은 DeepSeek 특유의 최적화 기능을 활용할 수 있게 합니다. LLaMA-2-7B의 KV 캐시 93%를 압축하여 8K 문맥 길이에서 10.6배의 추론 속도 향상을 달성하면서 의미 있는 출력 품질을 유지합니다. 또한, 여러 벤치마크에서 원래 성능과 동등한 수준을 회복하기 위해 미세 조정에 필요한 토큰 수는 60억 개에 불과합니다. TransMLA는 GQA 기반 모델을 MLA 구조로 마이그레이션하는 실용적인 솔루션을 제공하며, FP8 양자화 및 다중 토큰 예측과 같은 DeepSeek의 고급 기능과 결합하면 더욱 향상된 추론 가속화를 실현할 수 있습니다.
