この論文では、大規模言語モデル（LLM）のプロンプト圧縮に関する既存の研究が主に意味情報の損失をどのように取り扱うかに焦点を当てたのとは異なり、LZ77と同様の作業とは無関係の損失のない圧縮技術を提示します。 2つの評価作業では、平均的に入力トークンシーケンスの長さを27％と18％短縮することが示されています。トランスベースのLLMを使用すると、アテンションの2次特性により、エンコード計算量をそれぞれ47％と33％削減できます。トークンシーケンス変換は簡単に元に戻すことができ、この過程で意味情報が失われないことを強調します。セマンティクス/構文の正確な保存が必要な2つのタスクについて提案された方法を評価し、従来の損失圧縮方法はこれらの設定でパフォーマンスが低下することを示しています。損失のない圧縮技術は、圧縮されていない入力と比較してパフォーマンスの差が少なく、より大きなモデルと拡張されたコンピューティング予算を使用すると、パフォーマンスの差が完全に消えることが予想されます。
