Benchmarking XAI Explanations with Human-Aligned Evaluations
Created by
Haebom
作者
R emi Kazmierczak, Steve Azzolin, Elo ise Berthier, Anna Hedstr om, Patricia Delhomme, David Filliat, Nicolas Bousquet, Goran Frehse, Massimiliano Mancini, Baptiste Caramiaux, Andrea Passerini, Gianni Franchi
概要
PASTA(Perceptual Assessment System for explanaTion of Artificial Intelligence)は、コンピュータビジョンの分野で説明可能なAI(XAI)技術を評価するための新しい人間中心のフレームワークです。さまざまなモデルと説明方法(saliency-basedおよびconcept-based)を含む大規模なベンチマークであるPASTA-データセットを提示します。このデータセットは、人間の判断に基づいたXAI技術の強力で比較的な分析を可能にします。さらに、PASTA-データセットを使用して人間の好みを予測する自動化されたデータ駆動型ベンチマーク(PASTA-score)を提供し、これは人間の知覚と一致するスケーラブルで信頼性が高く一貫した評価を提供します。既存のモデルの解釈可能性を調査し、人間に解釈可能なXAI方法を構築するためにこの方法を適用することを提案します。特に、異なるモダリティ間の説明比較を可能にする点が既存の研究と差別化されます。