Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection

Created by
  • Haebom

作者

Yiming Huang, Junyan Zhang, Zihao Wang, Biquan Bie, Yunzhong Qiu, Yi R. Fung, Xinlei He

概要

この論文は、大規模言語モデル(LLM)の幻覚問題を解決するための新しい方法であるRePPLを提案します。従来のサイケデリックな検出方法が不確実性の測定に焦点を当てていたが、幻覚の原因を説明できない限界を克服するために、意味の伝播と言語生成の過程で発生する不確実性の両方を考慮して、トークン単位の不確実性スコアを計算します。これらのスコアをPerplexityスタイルの対数平均として集計して、全体のサイケデリックスコアを計算します。さまざまなQAデータセットと最新モデルで平均AUC 0.833を達成し、優れたパフォーマンスを示し、トークン単位の不確実性スコアを幻覚の原因の説明として利用できることを示しています。

Takeaways、Limitations

Takeaways:
LLMのサイケデリック問題解決への新しいアプローチの提示(意味伝播と言語生成プロセスの不確実性を考慮)
トークン単位の不確実性スコアによる幻覚発生原因の説明可能性を提供
さまざまなQAデータセットと最新モデルで優れたサイケデリック検出性能(平均AUC 0.833)
幻覚の混乱したパターンの発見と利用可能性の提示
Limitations:
RePPLの性能評価は、特定のQAデータセットと最新モデルに限定されています。より多様なデータセットとモデルに対する追加の実験が必要です。
トークン単位の不確実性スコアを利用したサイケデリックパターン分析はまだ初期段階であり、より詳細な分析と検証が必要です。
提案された方法の一般化性能と拡張性に関するさらなる研究が必要である。
👍