본 논문은 대규모 언어 모델(LLM) 서비스 제공에서 중간 결과 캐싱(KV$)이 성능 향상에 중요한 역할을 하지만, 캐시 제거 정책과 같은 시스템 설계 결정이 작업 부하에 크게 의존하는 점을 고려하여 실제 LLM 서비스 제공업체의 KV$ 작업 부하 패턴을 체계적으로 특징짓는 최초의 연구 결과를 제시합니다. 기존의 합성 작업 부하에 초점을 맞춘 연구에서는 다루지 않았던 몇 가지 관찰 결과를 도출하였는데, 이는 요청 간 KV$ 재사용이 비대칭적이며, 단일 턴 요청 간 재사용이 다중 턴 요청 간 재사용만큼 중요하다는 점, 모든 요청을 고려할 때 재사용 시간과 확률이 다양하지만 특정 요청 범주에서는 패턴이 예측 가능하다는 점, 그리고 이상적인 캐시 적중률을 위한 전체 캐시 크기가 적당하다는 점 등입니다. 이러한 특징 분석을 바탕으로 실제 추적 데이터에서, 특히 캐시 용량이 제한적인 경우 서비스 성능을 향상시키는 작업 부하 인식 캐시 제거 정책을 제안합니다.
시사점, 한계점
•
시사점:
◦
실제 LLM 서비스 환경에서의 KV$ 캐싱 작업 부하 특성을 최초로 체계적으로 분석하여, 기존 합성 데이터 기반 연구의 한계를 극복.
◦
단일 턴 및 다중 턴 요청 모두에서 KV$ 재사용의 중요성을 확인하고, 요청 범주별 예측 가능한 재사용 패턴 발견.
◦
작업 부하 특성을 고려한 새로운 캐시 제거 정책 제안을 통해 실제 환경에서의 성능 향상 가능성 제시.
•
한계점:
◦
특정 LLM 서비스 제공업체의 데이터에 기반한 연구 결과이므로, 다른 서비스 제공업체 또는 LLM 아키텍처에 대한 일반화 가능성은 제한적일 수 있음.
◦
제안된 캐시 제거 정책의 성능은 실제 환경에서의 광범위한 테스트를 통해 추가적으로 검증되어야 함.
