Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Bayesian Concept Bottleneck Models with LLM Priors

Created by
  • Haebom

作者

Jean Feng, Avni Kothari, Luke Zier, Chandan Singh, Yan Shuo Tan

概要

この論文は、解釈の可能性と精度の妥協点として提示された概念ボトルネックモデル(CBM)の限界を克服する新しいアプローチBC-LLMを提案します。既存のCBMは事前定義された解釈可能な概念セットを使用していますが、概念抽出コストと十分な概念ナビゲーションとの間の妥協により、解釈可能性と精度の間のトレードオフが発生します。 BC-LLMは、ベイジアンフレームワーク内で潜在的に無限の概念セットを繰り返し探索し、大規模言語モデル(LLM)を概念抽出メカニズムと辞書として活用します。 LLMの誤差の可能性にもかかわらず、BC-LLMは厳密な統計的推論と不確実性の定量化を提供することを証明しています。画像、テキスト、表形式のデータセットでは、BC-LLMは、解釈可能な基準モデルや特定の設定では、ブラックボックスモデルよりも優れており、関連する概念でより速く収束し、分布外のサンプルに対してより堅牢であることを示しています。

Takeaways、Limitations

Takeaways:
ベイジアンフレームワークとLLMを活用して、既存のCBMの限界を克服し、解析可能性と精度を同時に向上させることができることを示した。
画像、テキスト、表形式のデータセットで既存のモデルを上回るパフォーマンスを示します。
より速い収束速度と分布外のサンプルに対する堅牢性を確保
厳密な統計的推論と不確実性の定量化の提供
Limitations:
LLMの誤差の可能性(ミスカリブレーション、ハルシニング)に依存する存在しかし、論文ではこれを統計的方法で緩和したと主張。
LLMの計算コストが高くなる可能性があります。 (実際の計算コストの具体的な分析はありません。)
BC-LLMの適用性と一般化性能の追加研究が必要
👍