本論文は、多選択型評価の限界を指摘し、生成型評価方式である「回答マッチング」を提案します。マルチセレクティブ評価は客観的で自動化が容易ですが、質問を見なくても正解を推論できる欠点があります。一方、回答マッチングは、モデルが自由形式で回答を生成し、参照回答と一致するかどうかを最新の言語モデルで判断する方法です。 MMLU-ProとGPQA-Diamondデータセットを用いて人間評価と各評価方式の一致度を測定した結果、小規模モデルを使用しても回答マッチングは人間間の一致度に近い高い精度を示した。一方、マルチセレクティブ評価と参照回答なしでLLMを使用した評価は、人間の評価との一致が低かった。回答マッチングによる評価の改善は単なる概念的な問題ではなく、複数のモデルのランキングが回答マッチングで自由形式のレスポンスを評価するときにかなり異なります。そこで、論文は、多選択性評価から回答マッチングに評価エコシステムを切り替える方法を議論する。
