Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Robust Adaptation of Large Multimodal Models for Retrieval Augmented Hateful Meme Detection

Created by
  • Haebom

作者

Jingbiao Mei, Jinghong Chen, Guangyu Yang, Weizhe Lin, Bill Byrne

概要

本論文は、インターネット上で深刻な問題となっている憎悪表現が盛り込まれたミームを自動的に検出する強力なシステム開発に焦点を当てている。大規模マルチモードモデル(LMMs)は有望な成果を示していますが、最適性能の不達やドメイン外一般化能力の制限などの困難に直面しています。本稿では、この問題を解決するために、ドメイン内の精度とドメイン間の一般化能力を向上させながら、LMMの一般的なビジョン言語機能を維持する強力な適応フレームワークを提案します。提案された方法は、既存の地図微調整(SFT)モデルと比較して敵対的攻撃に対する強力な堅牢性を示し、6つのミーム分類データセットの実験結果、既存の最高性能を上回る性能を達成し、より高い品質の根拠を生成してモデルの解釈力を向上させる。

Takeaways、Limitations

Takeaways:
LMMを利用した憎悪ミーム検出におけるドメイン内の精度とドメイン間の一般化能力を向上させる新しい適応フレームワークの提示
敵対攻撃に対する強力な堅牢性の確保
従来の最高性能(SOTA)を上回る性能達成。
改良されたモデル解析力の提供(高品質の根拠の生成)
Limitations:
提示されたフレームワークの一般化性能に関するさらなる研究が必要です。
様々なタイプの憎悪ミームの一般化性能評価が必要
実環境での性能評価と継続的なモニタリングの必要性
👍