Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Diffusion Language Models Know the Answer Before Decoding

Created by
  • Haebom

作者

Pengxiang Li, Yefan Zhou, Dilxat Muhtar, Lu Yin, Shilin Yan, Li Shen, Yi Liang, Soroush Vosoughi, Shiwei Liu

概要

拡散言語モデル(DLM)の推論速度を向上させるために、早期回答収束現象を活用する「Prophet」という訓練のない高速デコードパラダイムを提案します。 Prophetは、最終復号フェーズの半分だけで正解を識別できるDLMの特徴を活用して、中間フェーズで復号を中断し、残りのトークンを一度に復号する方法で推論速度を向上させます。 LLaDA-8BおよびDream-7Bモデルを使用したさまざまな操作の実験の結果、Prophetはデコードステップを最大3.4倍削減しながら高い生成品質を維持することがわかりました。

Takeaways、Limitations

Takeaways:
DLM推論速度を向上させるための新しいアプローチを提示する:早期回答収束現象を利用して推論速度を改善する
追加トレーニングなしで既存のDLMに統合可能で、少ないオーバーヘッドで実装可能
LLaDA-8BおよびDream-7Bモデルを含む複数のモデルおよびさまざまなタスクでのパフォーマンス検証
DLM推論をサンプリング中断の時点を決定する問題として再定義
Limitations:
具体的なDLMモデルと作業に対する性能偏差の可能性
提案された方法の一般化の可能性に関するさらなる研究が必要
モデルサイズ、データセットの種類などに応じた性能変化分析が必要
👍