Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Enhancing Technical Documents Retrieval for RAG

Created by
  • Haebom

作者

ソンジアンライ、ツンヒンチュン、カチュンフン、カイウェンシュエ、クワンホリン、ヤンミンチョイ、ヴィンセントNg、キンマンラム

概要

本稿では、ハードウェアおよびソフトウェア開発の分野で技術文書のセマンティック検索を最適化するための新しいフレームワークであるTechnical-Embeddingsを紹介します。大規模言語モデル(LLM)を活用して、複雑な技術コンテンツの理解と検索の課題を解決することに焦点を当てます。ユーザーのクエリを拡張して、ユーザーの意図をよりよく捉え、データセットの多様性を向上させ、埋め込みモデルの微調整プロセスを豊かにします。また、要約抽出技術を適用して技術文書の中核情報をエンコードし、表現を改善する。ソフトプロンプトを使用してデュアルエンコーダBERTモデルを微調整し、クエリとドキュメントのコンテキストで別々の学習パラメータを使用して、細かい意味の違いをキャプチャします。 RAG-EDAとRust-Docs-QAの2つのパブリックデータセットで評価した結果、Technical-Embeddingsは基準モデルよりも精度と再現率の両方でかなり優れた性能を示しました。これは、技術分野における情報のアクセスと理解を改善するために、クエリの拡張とコンテキストの要約を統合する効果を示しています。この研究は、Retrieval-Augmented Generation(RAG)システムの進歩をもたらし、エンジニアリングおよび製品開発ワークフローで効率的で正確な技術文書を検索するための新しい方法を提供します。

Takeaways、Limitations

Takeaways:
LLMを活用した技術文書検索最適化フレームワークの提示。
クエリ拡張とコンテキストサマリーを統合することによる検索性能の向上
ソフトプロンプト技術を用いた微調整による細かい意味的差分捕捉
RAGシステムの発展に貢献し、エンジニアリングと製品開発のワークフローを改善する可能性を提示します。
RAG-EDAとRust-Docs-QAデータセットでの既存モデルと比較してパフォーマンスの向上を実験的に検証。
Limitations:
使用されるデータセットの範囲が制限される可能性があります。 (RAG-EDAとRust-Docs-QAの2つのデータセットのみを使用)
他の種類の技術文書やより複雑なクエリの一般化のパフォーマンスは、追加の研究が必要です。
ソフトプロンプトに最適なパラメータ設定に関する追加の研究が必要になる場合があります。
実際の産業環境を適用するための追加の実験と検証が必要です。
👍