この研究では、大規模言語モデル（LLM）が相互接続された科学的知識をどのようにエンコードするかを化学元素とLLaMAファミリーモデルをケーススタディとして使用して探究します。研究の結果、隠れ状態で周期律表の概念構造と一致する3次元らせん構造を確認しました。これは、LLMがテキストで学んだ科学的概念の幾何学的構成を反映できることを示唆しています。線形プロービングにより、中間層は間接的な回想を可能にする連続的でネストされた属性をエンコードし、より深い層はカテゴリーの区別を明確にし、言語的文脈を統合することを明らかにしました。これらの結果は、LLMが象徴的な知識を孤立した事実ではなく、レイヤー間に意味情報を互いに絡ませた構造化された幾何学的多様体として表すことを示唆しています。本研究では、特に材料科学などの分野で、LLMが科学的知識をどのように表現し推論するかについてのさらなる探求を促すことが期待されています。
