Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

RAG-R1: Incentivize the Search and Reasoning Capabilities of LLMs through Multi-query Parallelism

Created by
  • Haebom

作者

Zhiwen Tan, Jiaming Huang, Qintong Wu, Hongxuan Zhang, Chenyi Zhuang, Jinjie Gu

概要

本稿では、静的内部知識のために幻覚や古い応答を生成する傾向がある大規模言語モデル（LLM）の制限を解決するために、強化学習（RL）に基づいてモデルの検索と推論能力を向上させる検索拡張生成（RAG）方法を提案します。既存のRAG方法の限界であるトレーニングの不安定性、かなりの推論時間、単一のクエリモードによる制限された機能などを解決するために、LLMが推論プロセス中に内部および外部の知識を適応的に活用できるように設計された新しいトレーニングフレームワークであるRAG-R1を提示します。 RAG-R1は、生成と検索のプロセスを単一のクエリモードからマルチクエリの並列処理に拡張し、推論時間を短縮し、モデルの機能を向上させます。 7つのクエリ応答ベンチマークの広範な実験の結果、提案された方法は最高性能基準モデルよりも最大13.2％向上した性能を示し、推論時間を11.1％短縮することを確認しました。

Takeaways、Limitations

•
Takeaways:
◦
RAGベースのLLMの推論時間を短縮する効果的な方法の提示
◦
マルチクエリ並列処理によってLLMのパフォーマンスを向上できることを証明した。
◦
内部および外部の知識を適応的に活用する新しいトレーニングフレームワークRAG-R1の有効性を確認します。
◦
従来のRAG法のLimitationsを克服し、性能向上を達成。
•
Limitations：
◦
提案された方法の性能向上が特定の質問応答ベンチマークに限定される可能性。
◦
様々なタイプのLLMとRAG法の一般化の可能性に関するさらなる研究が必要
◦
マルチクエリ並列処理の効率は、ハードウェアリソースに依存する可能性があります。
◦
RAG-R1の訓練安定性と一般化性能のさらなる分析の必要性
👍
Made with Slashpage