この論文は、大規模言語モデル(LLM)の知識エンコーディングを体系的に測定および整理することに焦点を当てています。特に、GPTKB方法論のような再帰的抽出スキームを介してLLMの知識を構造化形式に変換する研究の不十分さを指摘し、そのような抽出プロセスの終了の有無、再現性、および変動に対する堅牢性を分析する。 miniGPTKB(ドメイン別、扱いやすいサブクロール)を活用して、終了率、再現性、そして3つのカテゴリの指標(収量、語彙類似性、意味類似性)を測定する。研究は4つのバリエーション(シード、言語、ランダム性、モデル)と3つの代表ドメイン(歴史、エンターテイメント、金融)を対象に行われた。