AdamMeme: Adaptively Probe the Reasoning Capacity of Multimodal Large Language Models on Harmfulness
Created by
Haebom
저자
Zixin Chen, Hongzhan Lin, Kaixin Li, Ziyang Luo, Zhen Ye, Guang Chen, Zhiyong Huang, Jing Ma
개요
본 논문은 소셜 미디어 시대의 다양한 양식의 밈 확산에 따라 다중 모달 대규모 언어 모델(mLLMs)이 밈의 유해성을 효과적으로 이해하는 것이 중요해짐을 강조합니다. 기존의 유해 밈 이해 능력 평가 벤치마크는 정적 데이터셋을 사용하는 정확도 기반의 모델 독립적 평가에 의존하며, 동적으로 진화하는 온라인 밈을 제대로 평가하는 데 한계가 있습니다. 이를 해결하기 위해 본 논문은 mLLMs의 추론 능력을 적응적으로 조사하여 밈의 유해성을 판별하는 유연한 에이전트 기반 평가 프레임워크인 AdamMeme을 제안합니다. AdamMeme은 다중 에이전트 협업을 통해 도전적인 샘플로 밈 데이터를 반복적으로 업데이트하여 mLLMs가 유해성을 해석하는 방식의 특정 한계를 노출함으로써 종합적인 평가를 제공합니다. 광범위한 실험을 통해 이 프레임워크가 다양한 대상 mLLMs의 성능 차이를 체계적으로 밝혀내고, 모델별 약점에 대한 심층적이고 세분화된 분석을 제공함을 보여줍니다. 코드는 https://github.com/Lbotirx/AdamMeme 에서 이용 가능합니다.