Dynamic Compressing Prompts for Efficient Inference of Large Language Models
Created by
Haebom
저자
Jinwu Hu, Wei Zhang, Yufeng Wang, Yu Hu, Bin Xiao, Mingkui Tan, Qing Du
개요
본 논문은 대규모 언어 모델(LLM)의 프롬프트 길이에 따른 계산 비용 증가 및 성능 저하 문제를 해결하기 위해, 작업에 구애받지 않는 동적 압축 프롬프트(LLM-DCP) 방법을 제안합니다. LLM-DCP는 마르코프 의사결정 과정(MDP)을 이용하여 프롬프트 토큰을 순차적으로 제거하는 DCP-Agent를 통해 불필요한 토큰을 제거하고 중요 정보는 유지합니다. 압축률, LLM 출력 품질, 핵심 정보 유지를 고려한 보상 함수를 사용하여 외부 LLM 없이도 프롬프트 토큰을 줄입니다. 계층적 프롬프트 압축(HPC) 전략을 통해 압축 난이도를 점진적으로 높여 정보 무결성을 유지하는 효과적인 압축 방법을 학습합니다. 실험 결과, 기존 기술보다 높은 압축률에서도 우수한 성능을 보임을 확인했습니다. 코드는 https://github.com/Fhujinwu/DCP 에서 공개될 예정입니다.
