Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling

Created by
  • Haebom

作者

Hang Zheng, Hongshen Xu, Yuncong Liu, Lu Chen, Pascale Fung, Kai Yu

概要

大規模な言語モデル（LLM）は、知識の境界を越えたクエリを処理する際に、自己認識の不一致による幻覚に対して脆弱です。従来の緩和戦略は、不確実性推定やクエリ拒否メカニズムを使用しているが、計算効率と有用性が低下するという欠点がある。本稿では、信頼性と使いやすさを両立させるために、高速推論システムと低速推論システムを統合した明示的な知識境界モデリング（EKBM）フレームワークを提案します。このフレームワークは最初に高速モデルを使用して信頼性の高い応答を生成し、高信頼性の出力をすぐに活用できるようにします。一方、不確実な予測は精度向上のために遅い改善モデルを活性化する。モデルの動作を提案された目標に合わせるために、ハイブリッド学習パイプラインを提案し、作業性能を低下させることなく自己認識を向上させます。対話状態追跡操作の評価の結果、EKBMは不確実性ベースの基準モデルよりも優れたモデル信頼性を達成します。さらなる分析により、改善作業は計算オーバーヘッドを低く保ちながら精度を大幅に向上させます。このフレームワークは、エラーに敏感なアプリケーションで信頼できるLLMを展開するための拡張可能なパラダイムを構築し、精度と実用性のバランスを効果的に調整します。

Takeaways、Limitations

•
Takeaways:
◦
高速推論と遅い推論システムを組み合わせてLLMの信頼性と有用性を向上させる新しいフレームワーク（EKBM）を提示します。
◦
不確実性ベースの基準モデルより優れた信頼性を達成
◦
計算オーバーヘッドを低く抑えながら精度を大幅に向上。
◦
エラーに敏感なアプリケーションで信頼できるLLM展開のためのスケーラブルなパラダイムを提示します。
•
Limitations：
◦
提案されたフレームワークの一般化性能に関するさらなる研究が必要です。
◦
さまざまなタイプのLLMと作業のためのEKBMの性能評価が必要です。
◦
ハイブリッド学習パイプラインの詳細な設計と最適化に関するさらなる研究が必要
👍
Made with Slashpage