본 논문은 다수의 인공지능(AI) 모델 후보군 중에서 최적의 모델을 선택하기 위한 정확한 성능 추정 방법을 제시합니다. 실제 데이터를 이용한 경험적 평가는 비용과 시간이 많이 소요되므로, 대규모 평가에는 적합하지 않습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 LLM(Large Language Model)과 같은 자동 평가자를 이용하여 합성 데이터를 생성하는 자동 평가 방법을 활용합니다. 기존의 반지도 학습 예측 기반 추론(PPI) 방법은 자동 평가자의 편향을 교정하지만, 샘플 효율성이 저하될 수 있습니다. 따라서 본 논문에서는 R-AutoEval+ 라는 새로운 프레임워크를 제안합니다. R-AutoEval+는 유한 샘플에 대한 신뢰성을 보장하면서, 기존 방법 대비 샘플 효율성을 향상시키거나 최소한 동등하게 유지합니다. 핵심 혁신은 모델 평가 변수의 적응적 구성으로, 자동 평가자가 부정확할 경우 기존 방법으로 전환하여 합성 데이터에 대한 의존도를 동적으로 조절합니다. LLM의 가중치 양자화 설정 최적화 및 프롬프트 디자인 실험을 통해 R-AutoEval+의 신뢰성과 효율성을 확인했습니다.
