Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Understanding In-context Learning of Addition via Activation Subspaces

Created by
  • Haebom

作者

Xinyan Hu, Kayo Yin, Michael I. Jordan, Jacob Steinhardt, Lijie Chen

概要

本論文は、少数ショット学習を実行する言語モデルの順方向パスで予測ルールがどのように実装されるかを探る。整数$ K $を入力に加える予測規則を持つ少数ショット学習タスクを研究し、モデルの少数ショット能力を少数のアテンションヘッドに限定する新しい最適化方法を提示します。次元の縮小と分解によって個々のヘッドの詳細な分析を行い、Llama-3-8B-instructモデルを例として、3つのアテンションヘッドと6次元の部分空間にモデルのメカニズムを減らして分析する。さらに、アテンションヘッドに対する「集約」および「抽出」部分空間を連結する数学的等式を導き出すことによって、個々の例では、最終集約された概念で情報フローを追跡することができる。これにより、初期デモで学習されたミスが後期デモによって抑制される自己修正メカニズムを識別します。

Takeaways、Limitations

•
Takeaways：
◦
言語モデル内の少数ショット学習能力を特定のアテンションヘッドに局所化できることを実証。
◦
アテンションヘッドの低次元部分空間解析により,モデルの微細計算構造を理解することができる。
◦
「集計」と「抽出」の部分空間間の関係を明らかにし、情報の流れを追跡し、自己修正メカニズムを特定します。
◦
言語モデルの複雑な動作を理解するための新しい分析フレームワークの提示。
•
Limitations：
◦
特定の種類の少数ショット学習作業（整数加算）に焦点を当て、一般化に制限がある可能性があります。
◦
Llama-3-8B-instruct モデルの解析結果が他のモデルにも同様に適用されるかどうかをさらに検討する必要がある。
◦
少数のアテンションヘッド分析に限定されているため、他のモデルコンポーネントの寄与は見落とされる可能性があります。
👍
Made with Slashpage