Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

A Theory of Learning with Autoregressive Chain of Thought

Created by
  • Haebom

作者

Nirmit Joshi, Gal Vardi, Adam Block, Surbhi Goel, Zhiyuan Li, Theodor Misiakiewicz, Nathan Srebro

概要

この論文では、シーケンスを次のトークンとして生成する基本クラスが与えられたときに、時間不変ジェネレータを複数ステップ繰り返して事故過程を生成し、最終トークンを回答として使用するプロンプト-回答マッピング学習を検討します。事故過程が観察された場合と、プロンプトと回答のペアだけで学習する場合(事故過程が潜在的な場合)の両方について学習問題を定式化し、基本クラスの一般的な特性(VC次元など)や線形しきい値などの特定の基本クラスのサンプルと計算の複雑さを分析します。普遍的な表現が可能で計算的に扱いやすい思考過程学習を可能にする単純な基本クラスを提示し、時間不変性のために事故過程の長さとは無関係な標本の複雑さを持つことが重要です。この研究では、アテンションは自然に導き出されます。

Takeaways、Limitations

Takeaways:
時間不変ジェネレータを用いた事故過程学習の標本複雑度が事故過程の長さに依存しないことを示すことにより、長い思考過程を効率的に学習する可能性を提示します。
普遍的な表現が可能で計算的に効率的な思考コース学習のための新しい基本クラスを提案します。
アテンションメカニズムが自然に誘導される新しいフレームワークを提供します。
Limitations:
提案された基本クラスの実際のパフォーマンスと一般化能力の実験的検証が不十分です。
時間不変性という仮定が実際の問題に適用される場合の制限は明確ではない。
複雑な思考プロセスを効果的にモデル化するための追加の研究が必要です。
👍