Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

GENUINE: Graph Enhanced Multi-level Uncertainty Estimation for Large Language Models

Created by
  • Haebom

作者

Tuo Wang, Adithya Kulkarni, Tyler Cody, Peter A. Beling, Yujun Yan, Dawei Zhou

概要

本論文は、大規模言語モデル(LLM)の信頼性を向上させるための不確実性推定の重要性を強調し、既存の方法のLimitationsであるトークン単位確率測定による意味的依存性の見落とし問題を解決するために提案されたGENUINE(Graph ENhanced mUlti-level uncertaINty Estimation)フレーム。 GENUINEは、依存性解析ツリーと階層グラフのプールを活用して構造認識の不確実性を定量化し、地図学習を通じて意味的および構造的関係を効果的にモデル化して信頼性評価を向上させます。さまざまなNLP操作の実験結果、GENUINEは、従来の意味エントロピーベースのアプローチよりも最大29%高いAUROCを達成し、補正誤差を15%以上削減するなど、グラフベースの不確実性モデリングの効果を実証しています。ソースコードはhttps://github.com/ODYSSEYWT/GUQで確認できます。

Takeaways、Limitations

Takeaways:
グラフベースの不確実性モデリングがLLMの信頼性を向上できることを示した。
既存のトークン単位アプローチよりも正確で補正された不確実性推定が可能であることを実験的に証明します。
意味的および構造的関係を考慮して、より洗練された不確実性測定が可能です。
さまざまなNLP操作に適用可能な一般的なフレームワークを提供します。
Limitations:
提案された方法のパフォーマンスの向上は、特定のデータセットまたは操作に限定される可能性があります。
計算コストが従来の方法より高い場合があります。
依存性解析ツリーの精度に結果が影響を受ける可能性があります。
様々なタイプのLLMの一般化性能に関するさらなる研究が必要である。
👍