[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Dynamic Context Tuning for Retrieval-Augmented Generation: Enhancing Multi-Turn Planning and Tool Adaptation

Created by
  • Haebom

作者

Jubin Abhishek Soni, Amit Anand, Rajesh Kumar Pandey, Aniket Abhishek Soni

概要

Retrieval-Augmented Generation(RAG)ベースの従来の大型言語モデル(LLM)は、静的なシングルターンインタラクションと固定ツールセットに限定されており、医療やスマートホームなどの動的な環境には適していません。この論文では、再訓練なしにマルチターン会話と変化するツール環境をサポートするためにRAGを拡張する軽量フレームワークであるDynamic Context Tuning(DCT)を紹介します。 DCTは、関連する過去の情報を追跡するための注意ベースのコンテキストキャッシュ、ドメイン固有のツールを動的に選択するためのLoRAベースの検索、およびLLMコンテキスト制限内で入力を維持するための効率的なコンテキスト圧縮を統合します。合成および実際のベンチマーク実験の結果、DCTは計画精度を14%向上させ、幻覚を37%減少させ、同時にGPT-4性能と同等のレベルをはるかに低いコストで達成します。また、DCTは以前に見られなかったツールにも一般化され、さまざまな動的環境でスケーラブルで適応可能なAIアシスタントを可能にします。

Takeaways、Limitations

Takeaways:
マルチターン会話と変化するツール環境をサポートするRAGシステムのための軽量フレームワークであるDCTの提示。
計画精度の向上と幻覚の減少によるパフォーマンスの改善(計画精度14%、幻覚37%減少)。
GPT-4レベルの性能をはるかに低コストで達成。
以前に見られなかったツールにも一般化可能で、さまざまな動的環境で拡張可能で適応可能なAIアシスタントの実現可能性を提示します。
Limitations:
本論文で提示した実験結果の一般化の可能性に関するさらなる研究の必要性
さまざまな実環境に適用およびパフォーマンス評価を追加する必要性。
DCTのスケーラビリティと安定性の追加検証が必要
👍