Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

CORE-RAG: Lossless Compression for Retrieval-Augmented LLMs via Reinforcement Learning

Created by
  • Haebom

作者

Ziqiang Cui, Yunpeng Weng, Xing Tang, Peiyang Liu, Shiwei Li, Bowei He, Jiamin Chen, Yansen Zhang, Xiuqiang He, Chen Ma

概要

この論文は、大規模言語モデル(LLM)の応答における知識の視認性と事実の正確さを向上させるための有望なアプローチである検索拡張生成(RAG)について説明します。従来のRAGは、検索された文書の過剰な包含により、入力長が増加し、計算コストが高くなるという問題がある。この論文では、これらの問題を解決するために強化学習ベースの新しい圧縮方法であるCOREを提案します。 COREは事前定義された圧縮ラベルに依存せず、LLMが生成する回答の精度を最大化する要約を生成し、損失のないコンテキスト圧縮を達成します。実験は、3%という高い圧縮率にもかかわらず、すべてのデータセットで文書全体を使用することと比較して、パフォーマンスを低下させることなく平均正確な一致(EM)スコアを3.3ポイント向上させたことを示しています。

Takeaways、Limitations

Takeaways:
強化学習ベースの損失のないコンテキスト圧縮技術COREを提示し、RAGの効率を大幅に向上させました。
高い圧縮率(3%)にもかかわらず、性能を低下させることなく精度を向上させました。 (平均EMスコア3.3点向上)
LLMベースのRAGシステムの計算コストを効果的に削減する可能性を提示します。
Limitations:
現在のコードは公開されていません。 (まもなく公開予定)
提案された方法の一般化性能に関するさらなる研究が必要です。
さまざまな種類のLLMとデータセットの追加の実験が必要です。
👍