Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Engineering RAG Systems for Real-World Applications: Design, Development, and Evaluation

Created by
  • Haebom

저자

Md Toufique Hasan, Muhammad Waseem, Kai-Kristian Kemell, Ayman Asad Khan, Mika Saari, Pekka Abrahamsson

개요

본 논문은 실제 세계의 다섯 가지 도메인(거버넌스, 사이버 보안, 농업, 산업 연구, 의료 진단)에서 실제 사용 사례를 기반으로 개발된 5가지 도메인 특정 RAG(Retrieval-Augmented Generation) 애플리케이션을 제시합니다. 각 시스템은 다국어 OCR, 벡터 임베딩을 통한 의미 검색, 그리고 도메인에 적응된 LLMs를 통합하며, 사용자의 요구 사항을 충족하기 위해 로컬 서버 또는 클라우드 API를 통해 배포됩니다. 100명의 참가자를 대상으로 한 웹 기반 평가를 통해 사용 편의성, 관련성, 투명성, 응답성, 정확성, 추천 가능성 등 6가지 차원에서 시스템을 평가하였으며, 사용자 피드백과 개발 경험을 바탕으로 RAG 시스템의 실제 적용에 영향을 미치는 기술적, 운영적, 윤리적 과제를 강조하는 12가지 주요 교훈을 문서화했습니다. 본 논문은 실제 사용 사례를 기반으로 한 RAG 시스템 개발 및 평가에 대한 경험적 연구의 부족을 해소하고자 합니다.

시사점, 한계점

시사점:
실제 세계의 다양한 도메인에서 RAG 시스템의 실제 적용 가능성을 보여줌.
사용자 참여를 통한 실제 평가 결과를 제공하여 RAG 시스템의 성능 및 사용성에 대한 통찰력 제공.
RAG 시스템 개발 및 배포 과정에서 발생하는 기술적, 운영적, 윤리적 문제점에 대한 귀중한 교훈 제공.
다국어 OCR, 벡터 임베딩, 도메인 적응형 LLM 등 RAG 시스템 구축에 필요한 핵심 기술 요소 제시.
한계점:
평가에 참여한 사용자 수가 100명으로 제한적일 수 있음.
제시된 5가지 도메인 외 다른 도메인으로의 일반화 가능성에 대한 추가 연구 필요.
개발된 RAG 시스템의 장기적인 성능 및 안정성에 대한 추가적인 모니터링 및 평가 필요.
특정 도메인에 최적화된 시스템이 다른 도메인에 적용될 경우의 성능 저하 가능성.
👍