每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

面向实际应用的工程 RAG 系统：设计、开发和评估

Created by
  • Haebom

作者

Md Toufique Hasan、Muhammad Waseem、Kai-Kristian Kemell、Ayman Asad Khan、Mika Saari、Pekka Abrahamsson

大纲

本文介绍了五种基于实际用例开发的、面向特定领域的检索增强生成 (RAG) 应用程序，这些用例涵盖五个领域：政府治理、网络安全、农业、工业研究和医疗诊断。每个系统都集成了多语言 OCR、基于向量嵌入的语义检索以及领域自适应的 LLM，并通过本地服务器或云 API 进行部署以满足用户需求。一项有 100 名参与者参与的网络评估从六个维度对这些系统进行了评估：可用性、相关性、透明度、响应性、准确性和可推荐性。根据用户反馈和开发经验，我们记录了 12 条关键经验教训，这些经验教训突出了影响 RAG 系统实际应用的技术、操作和道德挑战。本文旨在解决基于实际用例的 RAG 系统开发和评估缺乏实证研究的问题。

Takeaways，Limitations

•
Takeaways：
◦
展示了 RAG 系统在各个现实领域的实际适用性。
◦
通过用户参与提供真实的评估结果，深入了解 RAG 系统的性能和可用性。
◦
为 RAG 系统开发和部署过程中出现的技术、操作和道德挑战提供宝贵的经验教训。
◦
介绍构建 RAG 系统所需的关键技术要素，包括多语言 OCR、矢量嵌入和领域自适应 LLM。
•
Limitations：
◦
参与评估的用户数量可能限制为100人。
◦
需要进一步研究来确定除上述五个领域之外的其他领域的普遍性。
◦
需要对开发的 RAG 系统的长期性能和稳定性进行额外的监测和评估。
◦
针对特定领域优化的系统应用于另一个领域时，性能下降的可能性。
👍
Made with Slashpage