Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Fantastic Bugs and Where to Find Them in AI Benchmarks

Created by
  • Haebom
Category
Empty

저자

Sang Truong, Yuheng Tu, Michael Hardy, Anka Reuel, Zeyu Tang, Jirayu Burapacheep, Jonathan Perera, Chibuike Uwakwe, Ben Domingue, Nick Haber, Sanmi Koyejo

개요

AI 발전을 이끄는 벤치마크의 신뢰성을 저해하는 유효하지 않은 질문을 식별하는 것이 중요하며, 수많은 벤치마크 질문에서 오류를 수동으로 식별하고 수정하는 것은 비현실적이다. 본 연구에서는 응답 패턴의 통계적 분석을 활용하여 전문가 검토가 필요한 잠재적으로 유효하지 않은 질문을 식별하는 체계적인 벤치마크 개정 프레임워크를 제시한다. 평균 점수가 모델 성능을 충분히 요약한다는 핵심 가정을 바탕으로, 각 항목에 대한 다양한 통계의 예상 범위를 도출하고, 해당 통계의 경험적 추정치가 예상 범위를 벗어날 경우 문제를 제기한다. 9개의 널리 사용되는 벤치마크에서, 본 방법은 최대 84%의 정밀도로 문제가 있는 질문을 식별하도록 전문가 검토를 안내한다. 또한, LLM-judge를 활용하여 질문을 검토하여 인적 노력을 줄인다.

시사점, 한계점

•
시사점:
◦
응답 패턴의 통계적 분석을 활용한 체계적인 벤치마크 개정 프레임워크 제시.
◦
전문가 검토를 효율적으로 안내하여 유효하지 않은 질문 식별 정확도 향상 (최대 84% 정밀도).
◦
LLM-judge를 활용하여 인간의 노력 감소.
◦
효율적이고 확장 가능한 벤치마크 개정 프레임워크 제공.
•
한계점:
◦
평균 점수가 모델 성능을 충분히 요약한다는 핵심 가정에 의존.
◦
제시된 정밀도(84%)가 모든 벤치마크에 적용될 수 있는지에 대한 추가 검증 필요.
◦
LLM-judge의 성능과 한계에 대한 추가적인 분석 필요.
👍
Made with Slashpage