Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Towards Requirements Engineering for RAG Systems

Created by
  • Haebom

저자

Tor Sporsem, Rasmus Ulfsnes

개요

본 논문은 해운 회사가 대규모 언어 모델(LLM)을 개발하고 통합하는 방법, 특히 전문가 환경에서 검색 증강 생성(RAG) 시스템의 요구 사항 엔지니어링에 초점을 맞춰 탐구합니다. 해운 서비스 제공업체를 대상으로 한 사례 연구를 통해, 데이터 과학자들이 AI의 완벽성에 대한 사용자의 기대와 생성된 출력의 정확성 사이의 근본적인 긴장감에 직면하는 것을 보여줍니다. 연구 결과, 데이터 과학자는 사용자와의 반복적인 실험을 통해 문맥에 맞는 "검색 요구 사항"을 식별해야 하는데, 이는 사용자만이 정확성을 판단할 수 있기 때문입니다. 데이터 과학자가 실제로 이러한 "검색 요구 사항"을 도출하고 시스템의 한계를 관리하는 방법을 설명하는 경험적 프로세스 모델을 제시합니다. 이 연구는 복잡한 도메인별 애플리케이션에서 RAG 시스템을 구현하기 위한 특수한 요구 사항 엔지니어링 프로세스에 대한 통찰력을 제공함으로써 소프트웨어 엔지니어링 지식을 발전시킵니다.

시사점, 한계점

시사점:
RAG 시스템 구현을 위한 특수 요구 사항 엔지니어링 프로세스에 대한 통찰력 제공.
데이터 과학자들이 사용자와의 협업을 통해 문맥에 맞는 검색 요구 사항을 도출해야 함을 강조.
AI의 완벽성에 대한 사용자 기대와 생성 결과의 정확성 사이의 긴장 관계를 실증적으로 보여줌.
복잡한 도메인 특화 애플리케이션에서 RAG 시스템 구현에 대한 실질적인 경험적 프로세스 모델 제시.
한계점:
사례 연구가 특정 해운 서비스 제공업체에 국한되어 일반화 가능성에 제한이 있을 수 있음.
다른 도메인이나 RAG 시스템 구현 방식에 대한 일반화 가능성에 대한 추가 연구 필요.
제시된 경험적 프로세스 모델의 범용성 및 확장성에 대한 추가 검증 필요.
👍