본 논문은 대규모 언어 모델(LLM)의 프롬프트 압축에 관한 기존 연구가 주로 의미 정보 손실을 감수하는 방법에 초점을 맞춘 것과 달리, 손실 없는 압축 기법을 제시합니다. LZ77과 유사한 이 기법은 두 가지 평가 과제에서 평균적으로 입력 토큰 시퀀스 길이를 27%와 18% 줄이는 것을 가능하게 합니다. 트랜스포머 기반 LLM을 사용한다는 점을 고려하면, 어텐션의 이차적 특성으로 인해 인코딩 계산량이 각각 47%와 33% 감소합니다. 토큰 시퀀스 변환은 쉽게 되돌릴 수 있으며, 이 과정에서 의미 정보가 손실되지 않음을 강조합니다. 논문에서는 의미/구문의 정확한 보존이 필요한 두 가지 과제에 대해 제안된 기법을 평가하고, 기존의 손실 압축 방법이 이러한 설정에서 성능이 저조함을 보여줍니다. 손실 없는 압축 기법은 압축되지 않은 입력을 사용하는 것과 비교하여 성능 차이가 미미하며, 더 큰 모델과 확장된 컴퓨팅 예산을 통해 이 차이를 완전히 없앨 수 있을 것으로 예상합니다.
