LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes
Author
- Haebom
Category
Empty
저자
Michael Solodko, Steven Gong, Guangwei Yu, Satya Krishna Gorti, Jesse C. Cresswell, Victor Zhong
💡 개요
이 논문은 실제 기업 및 과학 데이터 레이크 환경에서 발생하는 복잡하고 비정형적인 질문에 답변하는 능력 평가의 어려움을 해결하기 위해 LakeQuest라는 새로운 벤치마크를 제안합니다. LakeQuest는 AI/ML 메타데이터, 소매 금융, 생의학 정보 등 세 가지 도메인에 걸쳐 9,846개의 질문-답변 쌍으로 구성되며, 각 질문에 대한 명확한 증거 위치를 제공하여 종단 간 검색 및 합성 파이프라인을 평가합니다. 현재의 QA 시스템은 검색 품질이 높더라도 관계 추론, 정책 적용, 다중 파일 질의 응답 등에서 어려움을 겪고 있음을 보여줍니다.
🔑 시사점 및 한계
•
실제 데이터 레이크 환경의 복잡성을 반영하여 기존 QA 벤치마크의 한계를 극복하는 데 기여합니다.
•
다양한 도메인과 모달리티를 아우르는 벤치마크를 제공함으로써 종단 간 QA 시스템의 성능을 보다 포괄적으로 평가할 수 있습니다.
•
현재 RAG 및 에이전트 기반 QA 시스템이 데이터 레이크 환경에서 겪는 구체적인 어려움(관계 추론, 정책 적용, 다중 파일 합성 등)을 명확히 드러냅니다.
•
LakeQuest는 근본적인 발견 및 파일 간 합성 메커니즘의 필요성을 강조하며, 향후 에이전트 기반 QA 시스템 개발의 방향성을 제시합니다.
