この研究では、使用ベースの構成主義（UCx）アプローチに基づいて、大規模言語モデル（LLM）の内部表現が機能を含む階層的特性を反映しているかどうかを調べます。 Pythia-1.4Bモデルを使用して、英語の二重目的語（DO）と前置詞目的語（PO）構文の表象を分析しました。人間が評価したDOまたはPOに対する好み強度を体系的に変化させた5000個の文ペアデータセットを活用しました。幾何学的分析は、エネルギー距離またはジェンセンシャノン発散によって測定された2つの構文表象間の分離可能性が、傾斜選好強度に基づいて体系的に制御されることを示した。言い換えれば、各構文のより典型的な例は活性化空間内のより区別される領域を占めるが、どちらの構文にも同じように見える可能性のある文はそうではなかった。これらの結果は、LLMが豊富で意味のある階層的な構文表象を学習するという証拠を提供し、LLMの表象の幾何学的測定方法を裏付けています。
