Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

RAGtifier: Evaluating RAG Generation Approaches of State-of-the-Art RAG Systems for the SIGIR LiveRAG Competition

Created by
  • Haebom

作者

Tim Cofala, Oleh Astappiev, William Xion, Hailay Teklehaymanot

概要

本論文は、2025年にSIGIR LiveRAGチャレンジに参加して提出したRetrieval-Augmented Generation(RAG)モデルの結果を報告します。 DataMorganaのQAペアを対象に、最大10BパラメータのLLMとFalcon-3-10Bを使用して精度を最大化するRAGソリューションを探索しました。 OpenSearch と Pinecone インデックスを活用した様々な Retriever の組み合わせと RAG ソリューションを実験した結果、Pinocone retriever と BGE reranker を使用した InstructRAG が最終ソリューションとして採用されました。このソリューションは、非人間評価で精度スコア1.13、忠実度スコア0.55を達成し、全体で3位を占めました。

Takeaways、Limitations

Takeaways: Pinocone retrieverとBGE rerankerを活用したInstructRAGベースのRAGシステムは、LiveRAGチャレンジで優れたパフォーマンスを示しています。様々なリトリーバーの組み合わせとRAGソリューションのナビゲーションによる最適化戦略の効果を確認した。
Limitations:チャレンジ条件(10BパラメータLLM制限、Falcon-3-10B使用制限など)内でのパフォーマンス評価であるため、一般化パフォーマンスの追加検証が必要です。非ヒト評価に依存する点が限界として作用し得る。より高い精度と忠実度を達成するための追加の研究が必要です。
👍