Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Benchmarking XAI Explanations with Human-Aligned Evaluations

Created by
  • Haebom

作者

R emi Kazmierczak, Steve Azzolin, Elo ise Berthier, Anna Hedstr om, Patricia Delhomme, David Filliat, Nicolas Bousquet, Goran Frehse, Massimiliano Mancini, Baptiste Caramiaux, Andrea Passerini, Gianni Franchi

概要

PASTA(Perceptual Assessment System for explanaTion of Artificial Intelligence)は、コンピュータビジョンの分野で説明可能なAI(XAI)技術を評価するための新しい人間中心のフレームワークです。さまざまなモデルと説明方法(saliency-basedおよびconcept-based)を含む大規模なベンチマークであるPASTA-データセットを提示します。このデータセットは、人間の判断に基づいたXAI技術の強力で比較的な分析を可能にします。さらに、PASTA-データセットを使用して人間の好みを予測する自動化されたデータ駆動型ベンチマーク(PASTA-score)を提供し、これは人間の知覚と一致するスケーラブルで信頼性が高く一貫した評価を提供します。既存のモデルの解釈可能性を調査し、人間に解釈可能なXAI方法を構築するためにこの方法を適用することを提案します。特に、異なるモダリティ間の説明比較を可能にする点が既存の研究と差別化されます。

Takeaways、Limitations

Takeaways:
大規模で多様なXAI技術比較分析のためのベンチマークデータセット(PASTA-dataset)を提供
人間の知覚に一致する自動化された評価指標(PASTA-score)の提示
さまざまなモダリティ間のXAIの説明を比較可能
XAI法の解析可能性の向上と新しいXAI法の開発に貢献
Limitations:
PASTA-データセットの一般化の可能性に関するさらなる研究が必要
PASTA-scoreの精度と信頼性のさらなる検証が必要
特定のコンピュータビジョン領域に限定された評価方式の制限
他のAI分野(自然言語処理、強化学習など)への適用可能性に関するさらなる研究が必要
👍