Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling

Created by
  • Haebom

저자

Weiqing Li, Guochao Jiang, Xiangyong Ding, Zhangcheng Tao, Chuzhan Hao, Chenfeng Xu, Yuewei Zhang, Hao Wang

개요

본 논문은 대규모 언어 모델 추론의 처리량을 개선하기 위해 사전 채우기(P) 단계와 디코딩(D) 단계를 분리하는 분산 추론 프레임워크의 효율성을 높이는 새로운 방법인 FlowKV를 제안합니다. 기존의 분산 추론 프레임워크는 KV 캐시 전송 지연, 블록 단위 호출 방식, 불연속적인 KV 캐시 메모리 할당, 고정적인 P/D 노드 역할 분담으로 인해 성능 저하를 겪습니다. FlowKV는 부하 인식 스케줄러를 도입하여 균형 잡힌 요청 스케줄링과 유연한 PD 노드 할당을 가능하게 함으로써 KV 캐시 전송 지연을 96% 감소시키고(0.944초에서 0.053초로), 하드웨어 자원 활용을 극대화하여 다양한 상황(정상, 계산 불균형, 과부하)에서 시스템 처리량을 최대화합니다. LongBench 데이터셋을 기반으로 한 실험 결과, FlowKV는 기준 모델 대비 15.2%~48.9%의 추론 속도 향상을 보였으며 이종 GPU를 사용하는 애플리케이션도 지원합니다.

시사점, 한계점

•
시사점:
◦
KV 캐시 전송 지연을 획기적으로 줄여 분산 추론의 성능을 크게 향상시켰습니다.
◦
부하 인식 스케줄러를 통해 계산 불균형 및 과부하 상황에서도 높은 처리량을 유지합니다.
◦
이종 GPU 환경에서도 효율적으로 작동합니다.
◦
LongBench 데이터셋을 기반으로 실험적으로 성능 향상을 검증했습니다.
•
한계점:
◦
본 논문에서 제시된 성능 향상은 특정 데이터셋(LongBench)과 실험 환경에 국한될 수 있습니다. 다른 데이터셋이나 환경에서는 성능 향상이 달라질 수 있습니다.
◦
FlowKV의 실제 구현 및 적용에 필요한 자원 및 비용에 대한 분석이 부족합니다.
◦
다양한 크기와 유형의 LLM에 대한 일반화 가능성에 대한 추가적인 연구가 필요합니다.
👍
Made with Slashpage