Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Engineering RAG Systems for Real-World Applications: Design, Development, and Evaluation

Created by
  • Haebom

저자

Md Toufique Hasan, Muhammad Waseem, Kai-Kristian Kemell, Ayman Asad Khan, Mika Saari, Pekka Abrahamsson

개요

본 논문은 실제 세계의 다섯 가지 도메인(거버넌스, 사이버보안, 농업, 산업 연구, 의료 진단)에서 실제 사용 사례를 기반으로 개발된 5가지 도메인 특화 RAG(Retrieval-Augmented Generation) 애플리케이션을 제시합니다. 각 시스템은 다국어 OCR, 벡터 임베딩을 통한 의미 기반 검색, 그리고 도메인에 맞게 조정된 LLM을 통합하며, 로컬 서버 또는 클라우드 API를 통해 배포되어 사용자의 다양한 요구를 충족합니다. 100명의 참가자를 대상으로 한 웹 기반 평가를 통해 사용 편의성, 관련성, 투명성, 응답성, 정확성, 추천 가능성 등 6가지 측면에서 시스템을 평가하고, 개발 경험과 사용자 피드백을 바탕으로 RAG 시스템의 실제 적용에 영향을 미치는 기술적, 운영적, 윤리적 과제를 강조하는 12가지 주요 교훈을 문서화했습니다.

시사점, 한계점

시사점:
실제 세계의 다양한 도메인에서 RAG 시스템의 실제 구현 및 배포에 대한 통찰력 제공.
사용자 참여를 통한 실제 사용 사례 기반의 RAG 시스템 평가 방법 제시.
RAG 시스템 개발 및 배포 과정에서 발생하는 기술적, 운영적, 윤리적 과제에 대한 12가지 주요 교훈 제시.
다국어 OCR, 벡터 임베딩, 도메인 적응형 LLM 등 RAG 시스템 구축을 위한 기술적 요소 제시.
한계점:
평가에 참여한 사용자 수 (100명)가 상대적으로 적을 수 있음.
제시된 5가지 도메인 외 다른 도메인에 대한 일반화 가능성 제한.
12가지 교훈이 특정 시스템 및 환경에 국한될 가능성 존재.
장기적인 시스템 성능 및 안정성에 대한 추가 연구 필요.
👍