This page organizes papers related to artificial intelligence published around the world. This page is summarized using Google Gemini and is operated on a non-profit basis. The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.
DISCO: Diversifying Sample Condensation for Efficient Model Evaluation
Created by
Haebom
Category
Empty
저자
Alexander Rubinstein, Benjamin Raible, Martin Gubri, Seong Joon Oh
개요
현대 머신러닝 모델의 평가는 비용이 많이 든다. DISCO(Diversifying Sample Condensation)는 모델 응답의 다양성을 극대화하는 샘플을 선택하여 평가 비용을 줄이는 새로운 방법이다. 모델 간의 불일치를 기준으로 샘플을 선택하며, 기존 방법에 비해 개념적으로 간단하고 MMLU, Hellaswag, Winogrande, ARC 벤치마크에서 최고의 성능 예측 결과를 보여준다.