Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

SConU: Selective Conformal Uncertainty in Large Language Models

Created by
  • Haebom

作者

Zhiyuan Wang, Qingni Wang, Yue Zhang, Tianlong Chen, Xiaofeng Zhu, Xiaoshuang Shi, Kaidi Xu

概要

この論文は、実世界のアプリケーションでますます使用されている大規模言語モデルの信頼できる展開には、作業固有の指標の保証が不可欠であることを強調しています。既存の分割準拠予測に基づくさまざまな準拠不確実性基準は、カスタム精度の適用範囲を提供しますが、交換可能性の仮定に違反する不確実性データの異常値を特定できず、無制限の誤適用率と非実用的な予測セットにつながるLimitationsを指摘しています。したがって、この論文では、選択的準拠不確実性(SConU)という新しいアプローチを提案します。 SConUは2つの準拠p値を開発し、特定の管理可能なリスクレベルで与えられたサンプルが校正セットの不確実性分布から外れるかどうかを判断するのに役立つ有意性検定を最初に実装します。このアプローチは、単一ドメインと学際的な文脈で誤用率を厳密に管理するだけでなく、予測効率も向上させます。さらに、特に高リスクの質疑応答作業における条件付き適用範囲を近似するために、準拠手順の構成要素を包括的に分析する。

Takeaways、Limitations

Takeaways:
大規模言語モデルの信頼性の高い展開のためのタスク固有の指標保証に対する新しいアプローチの提示
選択的準拠の不確実性(SConU)により誤適用率を厳密に管理し、予測効率を向上
単一ドメインと学際的文脈の両方で適用可能
高リスククエリ応答作業における条件付適用範囲の近似化の試み
Limitations:
SConUの実際の性能と一般化性能に関する追加の実験的検証が必要
高次元データまたは複雑なモデルに対するSConUのスケーラビリティ評価が必要
P値の選択とリスクレベルの設定に関する追加のガイドラインが必要
交換可能な家庭違反に対する完全な解決策の提示はまだ不十分である可能性があります
👍