본 논문은 점점 더 커지는 컨텍스트 윈도우를 가진 대규모 언어 모델(LLMs)의 배포 과정에서 발생하는 KV 캐시 크기 증가 문제를 해결하기 위한 FreeKV 프레임워크를 제안한다. FreeKV는 알고리즘과 시스템의 공동 최적화를 통해 KV 검색 효율성을 높이고 정확도를 유지하는 것을 목표로 한다. 알고리즘적으로는 추측적 검색과 미세 조정된 수정을 통해 KV 선택 및 재호출 프로세스를 최적화하고, 시스템적으로는 CPU와 GPU 메모리 간의 하이브리드 KV 레이아웃과 이중 버퍼링 스트림 재호출을 사용하여 데이터 전송 효율을 높인다. 실험 결과, FreeKV는 다양한 시나리오와 모델에서 거의 손실 없는 정확도를 유지하면서 기존 최고 성능의 KV 검색 방법보다 최대 13배 빠른 속도를 달성했다.
시사점, 한계점
•
시사점:
◦
LLM의 긴 컨텍스트 윈도우 활용 시 발생하는 KV 캐시 문제에 대한 효과적인 해결 방안 제시.
