Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Simple Yet Effective: An Information-Theoretic Approach to Multi-LLM Uncertainty Quantification

Created by
  • Haebom

作者

Maya Kruse, Majid Afshar, Saksham Khatwani, Anoop Mayampurath, Guanhua Chen, Yanjun Gao

概要

本論文では、大規模言語モデル（LLM）の不一致の問題を解決するために、モデル多様性を活用した不確実性定量化方法であるMUSE（Multi-LLM Uncertainty via Subset Ensembles）を提案する。 MUSEは、Jensen-Shannon Divergenceを使用してよく補正されたLLMのサブセットを識別して集計し、より信頼性の高い不確実性推定値を提供します。これは、LLMの異なる学習プロセスと言語のZipfian分布によってLLMが相補的な予測をするという仮定に基づいています。この方法は,バイナリ予測操作における単一モデルおよび単純集合基準モデルと比較して改善された補正および予測性能を示した。 MUSEはGitHubで公開されています。

Takeaways、Limitations

•
Takeaways:
◦
LLMのモデル多様性を利用して,不確実性推定の精度を改善できることを示した。
◦
Jensen-Shannon DivergenceベースのMUSE法は,単一モデルと単純集合基準モデルより優れた性能を示した。
◦
Chain-of-thought distillationとの結合によるLLM補正改善の可能性の提示
◦
開発されたMUSE法のオープンソース開示による研究と活用の拡張性の提供
•
Limitations:
◦
現時点では、バイナリ分類問題の実験結果のみが提示されており、マルチクラス分類または他の種類の作業の一般化の可能性にはさらなる研究が必要です。
◦
MUSEのパフォーマンス向上は特定のデータセットとモデルに限定され、さまざまな状況での汎用性を検証する必要があります。
◦
Jensen-Shannon Divergence以外の情報理論的指標を活用した性能比較分析が不足している。
◦
LLMのサブセット選択戦略の最適化に関するさらなる研究が必要である。
👍
Made with Slashpage