본 논문은 대규모 언어 모델(LLM)의 프롬프트 압축에 관한 기존 연구가 주로 의미 정보 손실을 감수하는 방법에 초점을 맞춘 것과 달리, LZ77과 유사한 작업과 무관한 손실 없는 압축 기법을 제시합니다. 두 가지 평가 작업에서 평균적으로 입력 토큰 시퀀스 길이를 27%와 18% 줄이는 것을 보여주며, 트랜스포머 기반 LLM을 사용하는 경우 어텐션의 이차적 특성으로 인해 인코딩 계산량을 각각 47%와 33% 줄일 수 있습니다. 토큰 시퀀스 변환은 쉽게 되돌릴 수 있으며, 이 과정에서 의미 정보가 손실되지 않음을 강조합니다. 의미/구문의 정확한 보존이 필요한 두 가지 작업에 대해 제안된 방법을 평가하고, 기존의 손실 압축 방법이 이러한 설정에서 성능이 저조함을 보여줍니다. 손실 없는 압축 기법은 압축되지 않은 입력과 비교하여 성능 차이가 적으며, 더 큰 모델과 확장된 컴퓨팅 예산을 사용하면 성능 차이가 완전히 사라질 것으로 예상합니다.
