Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

TECP: Token-Entropy Conformal Prediction for LLMs

Created by
  • Haebom

作者

Beining Xu, Yongming Lu

概要

本論文では、ブラックボックス制約の下で開かれたエンドツーエンド言語生成に関する不確実性定量化(UQ)問題を解決するために、トークンエントロピーを活用した新しいフレームワークであるトークンエントロピーコンフォーマルプレディクション(TECP)を提案します。 TECPは、ロジットや参照なしでトークンレベルのエントロピーを不確実性尺度として使用し、分離された準拠予測(CP)パイプラインに統合して、正式なカバレッジ保証を持つ予測セットを構築します。従来のセマンティックコヒーレンスヒューリスティックまたはホワイトボックスの特徴に依存する方法とは異なり、TECPはサンプリングされた製品のトークンエントロピー構造から直接認識論的不確実性を推定し、CP分位を介して不確実性しきい値を補正して検証可能なエラー制御を保証します。 6つの大規模言語モデルと2つのベンチマーク(CoQAとTriviaQA)の実験的評価は、TECPが一貫して信頼できる適用範囲とコンパクトな予測セットを達成し、以前の自己一貫性ベースのUQ方法を上回ることを示しています。この研究は、ブラックボックスLLM設定で信頼できる生成のための原則的かつ効率的な解決策を提供します。

Takeaways、Limitations

Takeaways:
ブラックボックスLLMにおける不確実性の定量化に対する新しいアプローチの提示
ロジットや参照なしでトークンエントロピーを活用して、効率的で原則的な不確実性を測定できます。
準拠予測による検証可能な誤差制御と信頼できる適用範囲の保証
従来の自己一貫性ベースの方法より優れた性能を示した。
Limitations:
本論文で提示した方法の一般化性能に関する追加研究の必要性
さまざまな種類のLLMとベンチマークの追加の実験が必要になる場合があります。
トークンエントロピー以外の他の不確実性尺度との比較分析の必要性
👍