Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Engineering RAG Systems for Real-World Applications: Design, Development, and Evaluation

Created by
  • Haebom

作者

Md Toufique Hasan, Muhammad Waseem, Kai-Kristian Kemell, Ayman Asad Khan, Mika Saari, Pekka Abrahamsson

概要

本論文では、現実世界の5つのドメイン(ガバナンス、サイバーセキュリティ、農業、産業研究、医療診断)で実用的なユースケースに基づいて開発された5つのドメイン特化RAG(Retrieval-Augmented Generation)アプリケーションを紹介します。各システムは、多言語OCR、ベクトル埋め込みによる意味ベースの検索、およびドメインに合わせて調整されたLLMを統合し、ローカルサーバーまたはクラウドAPIを介して展開され、ユーザーのさまざまなニーズを満たします。 100人の参加者を対象としたWebベースの評価を通じて、使いやすさ、関連性、透明性、応答性、正確性、推奨可能性など6つの側面でシステムを評価し、開発経験とユーザーフィードバックに基づいてRAGシステムの実際の適用に影響を及ぼす技術的、運営的、倫理的課題を強調する12の主要教訓を紹介しました。

Takeaways、Limitations

Takeaways:
実世界の様々なドメインにおけるRAGシステムの実用化と配備に関する洞察
ユーザー参加による実際のユースケースに基づくRAGシステム評価方法の提示
RAGシステムの開発と展開の間に発生する技術的、運用的、倫理的課題に関する12の主要な教訓を提示します。
多言語OCR、ベクトル埋め込み、ドメイン適応LLMなど、RAG​​システム構築のための技術的要素を提示します。
Limitations:
評価に参加したユーザー数(100人)が比較的少ない可能性があります。
提示された5つのドメイン以外のドメインの一般化可能性の制限。
12の教訓が特定のシステムと環境に限定される可能性があります。
長期的なシステム性能と安定性に関するさらなる研究が必要
👍