Training on the Benchmark Is Not All You Need
Created by
- Haebom
Category
Empty
저자
Shiwen Ni, Xiangtao Kong, Chengming Li, Xiping Hu, Ruifeng Xu, Jia Zhu, Min Yang
개요
본 논문은 대규모 언어 모델(LLM)의 성능 평가에 사용되는 벤치마크 데이터셋 유출 문제를 해결하기 위한 새로운 방법을 제안합니다. 기존 벤치마크의 다지선다형식 질문에서 선택지 내용을 바꾸어도 질문 자체의 의미는 변하지 않는다는 점에 착안하여, 선택지 내용을 섞은 데이터셋을 생성하고, 모델의 로그 확률 분포를 비교하여 데이터 유출 여부를 판별합니다. 로그 확률 분포에 최댓값이 존재하고 다른 값들과 차이가 클 경우 데이터 유출을 의미하며, 모델의 학습 데이터나 가중치에 접근하지 않고도 데이터 유출을 효과적으로 검출할 수 있습니다. 실험을 통해 두 개의 LLM과 벤치마크 설계를 기반으로 방법의 효과를 입증하고, 35개의 오픈소스 LLM을 대상으로 네 개의 벤치마크 데이터셋에서 데이터 유출 정도를 평가하여 순위를 매겼으며, Qwen 계열 LLM의 데이터 유출 정도가 가장 높은 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
LLM의 벤치마크 평가의 신뢰성을 높일 수 있는 새로운 데이터 유출 검출 방법 제시.
◦
모델의 학습 데이터나 가중치에 접근하지 않고도 데이터 유출을 검출 가능.
◦
다양한 시나리오(의도적/비의도적 선택지 섞임)에서 효과적으로 작동.
◦
35개의 오픈소스 LLM에 대한 데이터 유출 정도 평가 및 순위 제공.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 유형의 벤치마크 데이터셋과 LLM에 대한 추가적인 실험 필요.
◦
다지선다형 벤치마크에 특화된 방법으로, 다른 유형의 벤치마크에는 적용이 어려울 수 있음.
