[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DRAGON: Dynamic RAG Benchmark On News

Created by
  • Haebom

저자

Fedor Chernogorskii, Sergei Averkiev, Liliya Kudraleeva, Zaven Martirosian, Maria Tikhonova, Valentin Malykh, Alena Fenogenova

개요

본 논문에서는 러시아어를 대상으로 하는 최초의 동적 RAG(Retrieval-Augmented Generation) 벤치마크인 DRAGON(Dynamic RAG Benchmark On News)을 제시합니다. DRAGON은 정기적으로 업데이트되는 러시아어 뉴스 및 공공 문서 코퍼스를 기반으로 하며, 검색 및 생성 구성 요소 모두에 대한 포괄적인 평가를 지원합니다. 코퍼스에서 생성된 지식 그래프를 이용하여 자동으로 질문을 생성하며, 서브그래프 패턴에 따라 네 가지 핵심 질문 유형을 추출합니다. 자동 질문 생성 파이프라인, 평가 스크립트(다른 언어 및 다국어 환경에서 재사용 가능), 벤치마크 데이터를 포함하는 완벽한 평가 프레임워크를 공개하며, 커뮤니티 참여 및 비교를 장려하기 위해 공개 리더보드도 함께 출시합니다. 기존 영어 중심의 정적 RAG 벤치마크의 한계를 극복하고, 실제 환경의 동적인 특성을 반영하는 러시아어 RAG 시스템 평가를 위한 자원을 제공합니다.

시사점, 한계점

시사점:
러시아어 RAG 시스템 평가를 위한 최초의 동적 벤치마크 제공
정기적으로 업데이트되는 뉴스 코퍼스 기반의 실제 환경 반영
검색 및 생성 구성 요소에 대한 포괄적인 평가 지원
자동 질문 생성 파이프라인 및 평가 스크립트의 공개를 통한 재사용 및 확장 가능성 제공
공개 리더보드를 통한 커뮤니티 참여 및 비교 촉진
한계점:
현재는 러시아어에만 집중되어 있으며, 다른 언어로의 확장성에 대한 추가 연구 필요
뉴스 코퍼스에 편향된 데이터가 포함될 가능성 존재
자동 질문 생성의 정확도 및 다양성에 대한 추가적인 검증 필요
DRAGON의 지속적인 유지보수 및 업데이트에 대한 계획 필요
👍