본 논문은 대화형 인공지능(LLM)의 다회차 대화에서의 효율적인 추론 가속화를 위한 새로운 프레임워크인 LoopServe를 제안합니다. LoopServe는 기존 LLM들이 다회차 대화의 긴 문맥 처리에 어려움을 겪는 문제를 해결하기 위해, 두 가지 혁신적인 방법을 제시합니다. 첫째, prefilling 단계에서 중요한 어텐션 매트릭스 부분을 동적으로 선택하여 온라인 스파스화를 수행합니다. 둘째, 디코딩 단계에서 최근 생성된 토큰을 기반으로 관련성 있고 효율적인 캐시를 적응적으로 유지하는 점진적 키-값 압축을 사용합니다. 또한, 현실적인 질문 위치와 대화 의존성을 반영하는 11개의 다회차 데이터셋으로 구성된 새로운 벤치마크를 제시합니다. 실험 결과, LoopServe는 기존 기준 모델들보다 우수한 효율성을 달성하고 다양한 장문맥 대화 작업에서 LLM 추론 속도를 크게 향상시키는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
다회차 대화에서 LLM의 추론 속도를 효과적으로 향상시키는 새로운 방법 제시.
◦
기존의 고정적 또는 위치 기반 휴리스틱 방식보다 적응적인 접근 방식을 통해 더욱 효율적인 처리 가능.
