この論文は、大規模言語モデル（LLM）を使用したコード評価に焦点を当て、既存の質問とは無関係の評価基準ではなく、質問固有の評価基準を使用するマルチエージェントベースの新しいアプローチを提案します。既存の研究がLLMを使用したコード生成に焦点を当てたのとは異なり、コード評価の研究は不十分な状況であり、この論文はこれらのギャップを埋めたいと考えています。適切な評価データセットの欠如を解決するために、データ構造とアルゴリズムの課題（150の提出物）とオブジェクト指向プログラミングの課題（80の提出物）の2つの新しいデータセットを紹介します。スピアマン相関係数やコーエンのカッパ係数などの標準指標に加えて、専門家評価に対する評価の厳格性を定量化する新しい指標である「寛大さ」を提案します。実験結果は,質問固有の評価基準が教育環境におけるコードの論理的評価を改善し,単純な構文的精度を超えて教育目標に適合するより良いフィードバックを提供することを示した。
