PhantomWiki: On-Demand Datasets for Reasoning and Retrieval Evaluation
Created by
Haebom
저자
Albert Gong, Kamile Stankevi\v{c}iute, Chao Wan, Anmol Kabra, Raphael Thesmar, Johann Lee, Julius Klenke, Carla P. Gomes, Kilian Q. Weinberger
개요
본 논문은 대규모 언어 모델(LLM)의 추론 및 검색 능력 평가를 위한 고품질 벤치마크의 필요성을 강조하며, 기존 데이터셋의 데이터 유출 및 과장된 성능 결과 문제를 해결하기 위해 PhantomWiki를 제안합니다. PhantomWiki는 필요에 따라 고유하고 사실적으로 일관된 문서 코퍼스와 다양한 질문-답변 쌍을 생성하는 파이프라인입니다. 기존 연구와 달리, 특정 데이터셋에 기반하지 않고, 각 평가마다 새로운 인스턴스를 생성합니다. 질문 난이도와 코퍼스 크기를 변화시켜 추론 및 검색 능력을 분리하여 평가하고, 최첨단 LLM에게도 상당히 어려운 과제임을 확인합니다. 따라서, 추론, 검색 및 도구 사용 능력의 분리된 평가를 위한 확장 가능하고 데이터 유출에 강력한 프레임워크를 제공합니다. 코드는 GitHub에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
데이터 유출 및 과장된 성능 문제를 해결하는 새로운 LLM 평가 프레임워크를 제시합니다.
◦
추론과 검색 능력을 분리하여 평가할 수 있는 방법을 제공합니다.
◦
확장 가능하고, 온디맨드 생성 방식으로 지속적인 평가를 가능하게 합니다.
◦
최첨단 LLM의 한계를 드러내는 새로운 벤치마크를 제공합니다.
•
한계점:
◦
PhantomWiki가 생성하는 데이터의 질과 다양성에 대한 추가적인 검증이 필요할 수 있습니다.
