Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning

Created by
  • Haebom

作者

Tunyu Zhang, Haizhou Shi, Yibin Wang, Hengyi Wang, Xiaoxiao He, Zhuowei Li, Haoxian Chen, Ligong Han, Kai Xu, Huan Zhang, Dimitris Metaxas, Hao Wang

概要

本論文は、大規模言語モデル(LLM)の数学的推論能力の一貫性不足の問題を解決するために、トークン単位の不確実性推定フレームワークであるTokURを提案する。 TokURは、低次元ランダムウェイト摂動をLLMデコードに適用して予測分布を生成し、それによってトークン単位の不確実性を推定します。推定されたトークン単位の不確実性を集計して生成されたシーケンスの意味的不確実性を反映し、それによって回答の正確性とモデルの堅牢性を評価します。様々な難易度の数学的推論データセットを用いた実験結果は、提案された方法が従来の不確実性推定方法より優れており、不確実性を利用して多重生成および粒子フィルタリングアルゴリズムを介してモデルの推論性能を向上させることができることを示している。

Takeaways、Limitations

Takeaways:
LLMの推論過程におけるトークン単位の不確実性を正確に推定する新しい方法の提示
不確実性推定によりLLMの回答精度と堅牢性を改善できることを証明した。
不確実性に基づく多重生成と粒子フィルタリングアルゴリズムを利用したLLMの推論性能の向上の可能性の提示
LLMの信頼できる応答を得るための効果的な評価と改善方法を提供します。
Limitations:
提案された方法の効果は、特定の数学的推論データセットに限定され得る。
他の種類の問題または複雑な推論課題に対する一般化性能に関するさらなる研究が必要
低次元ランダム重み摂動の最適パラメータ設定に関するさらなる研究が必要です。
実際の応用分野における適用性と効率性のための更なる検証の必要性
👍