本論文では、CLIPモデルの内部動作メカニズムとLimitations、特に社会的偏向について研究します。 CLIPモデルのアテンションヘッドが特定の概念とどれだけ一貫して並んでいるかを測定する新しい解釈可能性指標である概念一貫性スコア（CCS）を提案します。ソフトプルーニング実験により、高いCCSを持つヘッドはモデルのパフォーマンスを維持するために重要であり、これらのヘッドが重要な概念を捉え、ドメイン外の検出、概念固有の推論、およびビデオ言語の理解に重要な役割を果たすことを明らかにします。一方、高いCCSヘッドは、社会的偏向を増幅する虚偽の相関関係を学習することも示しています。したがって、CCSは、CLIPモデルのパフォーマンスと社会的偏向のパラドックスを示す強力な解釈可能性の指標として位置付けられています。
