Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

How does Chain of Thought Think? Mechanistic Interpretability of Chain-of-Thought Reasoning with Sparse Autoencoding

Created by
  • Haebom

作者

Xi Chen, Aske Plaat, Niki van Stein

概要

この論文は、Chain-of-thought（CoT）プロンプトが多段階での大規模言語モデル（LLM）の精度を高めるのに効果的ですが、生成された「思考プロセス」が実際の内部推論プロセスを反映しているかどうかは不確実であることを指摘しています。組み合わせて、Pythia-70MとPythia-2.8BモデルがGSM8K数学の問題をCoTおよび一般（noCoT）プロンプトで解決しながら、単一の意味特徴を抽出します。また、より大きなモデルで活性化希少性と特徴解析可能性スコアを大きく高め、さらにモジュール化された内部計算を示します。 LLMは、より解釈可能な内部構造を導き、構造化プロンプト方法としての役割を検証することを示します。

Takeaways、Limitations

•
Takeaways：
◦
CoTプロンプトが高容量LLMでより解釈可能でモジュール化された内部構造を誘導することを実験的に証明した。
◦
CoTの効果はモデルサイズによって大きく変化することを明らかにしました（規模しきい値の存在）。
◦
有用なCoT情報は、親パッチだけでなく広く分布していることを確認します。
◦
CoTによるモデルの正解生成に対する信頼性の向上
•
Limitations：
◦
研究は特定のモデル（Pythia）と特定の作業（GSM8K数学問題）に限定されています。
◦
CoTの内部動作メカニズムの完全な理解はまだ欠けています。
◦
他のタイプのLLMや仕事の一般化の可能性は、さらなる研究が必要です。
👍
Made with Slashpage