Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Cautious Next Token Prediction

Created by
  • Haebom

作者

Yizhou Wang, Lingzhi Zhang, Yue Bai, Mang Tik Chiu, Zhengmian Hu, Mingyuan Zhang, Qihua Dong, Yu Yin, Sohrab Amirghodsi, Yun Fu

概要

この論文は、大規模言語モデル（LLM）の自己回帰モデルで支配的な次のトークン予測パラダイムについて説明します。従来のLLMは、多様性と一貫性のために温度スケーリングとヌクレウスサンプリングを基本的なサンプリング方法として使用していますが、モデルが不確実な場合にパフォーマンスが低下するという問題があります。これを解決するために、この論文は新しい訓練を必要としない復号戦略であるCautious Next Token Prediction（CNTP）を提案します。 CNTPは、モデルの予測エントロピーが高い場合、複数の独立した試みを実行し、句読点に遭遇すると停止します。その後、最低のパープレクサスコアを持つ試みを、最も可能性の高い信頼できるパスとして選択します。試行回数は予測信頼度に反比例し、モデルの信頼度が低いほど、より多くの試行を実行します。 LLM と MLLM の広範な実験の結果、CNTP は従来のデコード戦略よりも優れており、自己整合性との統合によってさらに向上したパフォーマンスを示しています。

Takeaways、Limitations

•
Takeaways：
◦
従来の温度スケーリングと核酸サンプリングに基づく復号戦略の限界を克服する新しい復号戦略CNTP提示
◦
LLMおよびMLLMでは、従来の方法より優れた性能を示した。
◦
自己一貫性との統合によるさらなる性能向上の可能性の提示
◦
LLM復号の基本戦略として位置づける可能性
•
Limitations：
◦
CNTPの計算コストが従来の方法より高い場合があります。
◦
最適な試行回数を決定するための明確なガイドラインがない可能性があります。
◦
様々なLLMおよびMLLMアーキテクチャの一般化性能に関するさらなる研究が必要
👍
Made with Slashpage