Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MHTS: Multi-Hop Tree Structure Framework for Generating Difficulty-Controllable QA Datasets for RAG Evaluation

Created by
  • Haebom

저자

Jeongsoo Lee, Daeyong Kwon, Kyohoon Jin, Junnyeong Jeong, Minwoo Sim, Minwoo Kim

개요

본 논문에서는 기존 RAG(Retrieval Augmented Generation) 벤치마크의 한계점인 질의 난이도 고려 부족을 해결하기 위해, 다단계 추론 복잡성을 체계적으로 제어하는 새로운 데이터셋 합성 프레임워크인 MHTS (Multi-Hop Tree Structure)를 제안합니다. MHTS는 다단계 트리 구조를 활용하여 논리적으로 연결된 다중 청크 질의를 생성하며, 정교한 난이도 추정 공식을 통해 검색 및 답변 생성 능력을 효과적으로 평가합니다. 고품질, 다양성, 난이도 제어 질의를 보장함으로써 RAG 평가 및 벤치마킹 기능을 향상시킵니다.

시사점, 한계점

•
시사점:
◦
기존 RAG 벤치마크의 난이도 고려 부족 문제 해결
◦
다단계 추론 복잡성을 체계적으로 제어하는 새로운 데이터셋 합성 프레임워크 MHTS 제안
◦
정교한 난이도 추정 공식을 통해 RAG 시스템의 검색 및 답변 생성 능력 효과적 평가 가능
◦
고품질, 다양성, 난이도 제어 질의를 통한 RAG 평가 및 벤치마킹 기능 향상
•
한계점:
◦
MHTS 프레임워크의 일반성 및 확장성에 대한 추가적인 연구 필요
◦
다양한 RAG 모델에 대한 벤치마크 결과 분석 및 비교 연구 필요
◦
난이도 추정 공식의 보편성 및 다른 유형의 질의에 대한 적용 가능성 검증 필요
👍
Made with Slashpage