Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Retrieval-Augmented Generation for Service Discovery: Chunking Strategies and Benchmarking

Created by
  • Haebom

저자

Robin D. Pesl, Jerin G. Mathew, Massimo Mecella, Marco Aiello

개요

본 논문은 다양한 (하위) 시스템 통합을 통해 고급 정보 시스템을 구축하는 과정에서, 특히 아직 존재하지 않는 서비스를 설계 단계에서 통합하는 등의 동적 환경 통합의 어려움에 초점을 맞춥니다. 기존에는 API 문서를 제공하는 레지스트리를 사용하여 이 문제를 해결했지만, 본 논문에서는 대규모 언어 모델(LLM)을 활용하여 이러한 문서를 기반으로 시스템 통합(예: 서비스 구성)을 자동으로 생성하는 방법을 제시합니다. LLM의 입력 토큰 제한으로 인해, 특히 포괄적인 API 설명의 경우 간결한 입력이 필요하다는 문제점을 해결하기 위해, (i) 검색 증강 생성(RAG)을 이용한 엔드포인트 검색 및 OpenAPIs의 청크화(전처리) 분석, (ii) 관련 엔드포인트 요약만 받고 필요에 따라 상세 정보를 검색하는 Discovery Agent 제안, (iii) 다양한 도메인과 실제 RestBench 벤치마크를 포함하는 새로운 서비스 검색 벤치마크 SOCBench-D를 이용한 RAG 평가를 진행합니다. 실험 결과, 엔드포인트 기반 접근 방식이 기존 청크화 방법보다 우수하며, 에이전트 활용은 정밀도를 향상시키지만 재현율 감소를 초래하여 추가적인 추론 기능의 필요성을 보여줍니다.

시사점, 한계점

시사점:
RAG 기반 엔드포인트 검색을 통해 LLM의 입력 토큰 제한 문제를 효과적으로 완화할 수 있음을 보여줌.
엔드포인트 기반 청크화 전처리 방법이 기존 방법보다 우수한 성능을 보임.
Discovery Agent를 활용하여 정밀도를 향상시킬 수 있음.
다양한 도메인에 적용 가능한 새로운 서비스 검색 벤치마크 SOCBench-D 제시.
한계점:
Discovery Agent 사용 시 재현율이 감소하는 문제 발생. 추가적인 추론 기능이 필요함.
SOCBench-D 벤치마크의 일반화 가능성에 대한 추가적인 검증 필요.
👍