本論文は、インターネットに公開されている大規模言語モデル（LLM）ベンチマークが将来のLLMの学習や選択に意図せず（または意図的に）使用され、モデル汚染を引き起こす危険性を提起する。既存の解決策であるベンチマークの非公開および参加者のモデル/予測提出方式は、特定の機関に対する信頼に依存し、繰り返しの問合せによる過適合の可能性を残す。本論文は、正解を完全に開示することなくLLMを公的に評価できるようにベンチマークを公開する方法を提案する。重要なアイデアは、複数の論理的に正確な回答を準備し、そのうちの1つだけを正解として含めることで、回答にランダム性を注入することです。これは、ベンチマークのベイズ精度を下げて正解を保護し、データ汚染を検出するためのテストを提供します。完璧なモデルでさえベイズの精度を超えることはできないので、それを超えるとデータ汚染の強力な信号と見なすことができます。実験結果は、本方法が様々なベンチマーク、モデル、学習方法においてデータ汚染を正確に検出できることを示す。
