Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Activation Steering for Chain-of-Thought Compression

Created by
  • Haebom

作者

Seyedarmin Azizi, Erfan Baghaei Potraghloo, Massoud Pedram

概要

本論文は、大規模言語モデル（LLM）の推論過程で発生する過度の説明（chains of thought、CoTs）問題を解決するための新しい方法であるActivation-Steered Compression（ASC）を提示します。 ASCは、モデルの活性化空間における簡潔な数学的推論と冗長な英語ベースの推論の違いを利用して、「ステアリングベクトル」を抽出して注入することによって推論プロセスを圧縮します。これは、再訓練なしに推論の時点で隠れ表現を直接修正してCoT長を短縮する技術です。 KL-divergence-bounded constraintを用いた理論的解析により操舵強度を調節し、MATH500およびGSM8Kデータセットで最大67.43%のCoT長減少を達成しながら精度を維持することを示しています。特に、8Bモデルでは平均2.73倍の速度向上を記録し、遅延時間やコストに敏感な環境で推論能力を持つLLM展開のための実用的で効率的なツールであることを示唆しています。

Takeaways、Limitations

•
Takeaways：
◦
LLMの推論過程で発生する過度の説明問題を効果的に解決する新しい方法（ASC）を提示する。
◦
再訓練なしで推論速度を向上させ、エネルギー消費を減らすことができます。
◦
KL-divergence-bounded constraintを用いた理論的解析によるASCの効果を裏付ける
◦
MATH500およびGSM8Kデータセットで高い効率と精度を検証。
◦
遅延やコストに敏感な環境でLLM展開の実用性を高めます。
•
Limitations：
◦
ASCの性能は、使用されるトレーニングデータの質に依存し得る。
◦
さまざまなLLMアーキテクチャとデータセットの追加の実験が必要です。
◦
現在提示されている方法がすべてのタイプの推論問題に有効であるかどうかに関するさらなる研究が必要である。
◦
操舵ベクトル抽出と注入プロセスの一般化の可能性に関するさらなる研究が必要である。
👍
Made with Slashpage