본 논문은 확장된 컨텍스트 창을 가진 대규모 언어 모델(LLM)의 증가하는 채택으로 인해 추론 성능을 최적화하기 위한 효율적인 키-값 캐시(KVC) 관리의 필요성을 다룹니다. RAG(Retrieval-Augmented Generation) 및 에이전트와 같은 추론 작업량은 높은 캐시 재사용성을 보이므로 중복성을 줄이고 속도를 향상시키기 위해 효율적인 캐싱이 중요합니다. 공개적으로 사용 가능한 추적을 사용하여 실제 KVC 액세스 패턴을 분석하고 Redis와 같은 상용 키-값 저장소와 최첨단 RDMA 기반 시스템(CHIME [1] 및 Sherman [2])을 KVC 메타데이터 관리를 위해 평가합니다. 본 연구는 KVC 사전 채우기를 위한 맞춤형 저장소 솔루션의 부족을 보여주고, LLM 작업량에 대해 최적화된 메타데이터 관리를 갖춘 효율적인 분산 캐싱 시스템의 필요성을 강조하며, 확장 가능하고 지연 시간이 짧은 추론을 위한 향상된 KVC 관리 시스템 설계에 대한 통찰력을 제공합니다.
