Fine-Grained Benchmark Generation for Comprehensive Evaluation of Foundation Models

작성자

Haebom

카테고리

Empty

저자

Mohammed Saidul Islam, Negin Baghbanzadeh, Farnaz Kohankhaki, Afshin Cheraghi, Ali Kore, Shayaan Mehdi, Elham Dolatabadi, Arash Afkanpour

💡 개요

기존 평가 벤치마크가 가진 종합적인 커버리지 및 메타데이터 부족 문제를 해결하기 위해, 본 연구는 참조 자료(교과서 등)에 기반한 평가 문제 자동 생성 프레임워크를 제안합니다. 이 프레임워크는 다중 에이전트 구조와 솔루션 그래프 기반 전략을 활용하여 광범위하고 메타데이터가 풍부하며 오염에 강건한 벤치마크를 생성하며, 이를 통해 MMLU, GSM8K와 같은 기존 벤치마크보다 낮은 오답률을 달성했습니다. 생성된 벤치마크로 12개의 모델을 평가한 결과, 기존 벤치마크로는 파악하기 어려웠던 모델 간의 미묘한 성능 차이를 성공적으로 포착했습니다.

🔑 시사점 및 한계

•

기존 벤치마크의 한계 극복: 참조 자료 기반 자동 생성 프레임워크를 통해 종합적인 커버리지와 풍부한 메타데이터를 갖춘 벤치마크 생성의 가능성을 제시합니다.

•

신뢰도 높은 평가: 다중 에이전트 구조와 솔루션 그래프 기반 접근법으로 생성된 벤치마크는 기존 벤치마크 대비 낮은 오답률을 보여주며, 모델 성능을 더욱 신뢰성 있게 평가할 수 있습니다.

•

모델 간 미세 성능 차이 규명: 본 프레임워크로 생성된 벤치마크는 기존 벤치마크가 놓치는 모델 간의 세밀한 성능 차이를 효과적으로 드러내어, 모델 발전에 대한 새로운 통찰을 제공합니다.

•

한계점 또는 향후 과제: 현재 생성된 벤치마크는 머신러닝, 기업 재무, 개인 재무 분야에 국한되어 있으며, 향후 더 다양한 분야로의 확장 및 프레임워크 자체의 일반화 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage