소셜 미디어에서 밈의 확산으로 인해 멀티모달 유해성을 효과적으로 이해하기 위한 mLLM(multimodal Large Language Models)의 필요성이 대두되었습니다. 기존의 평가 방식은 주로 mLLM의 이진 분류 작업에 대한 탐지 정확도에 초점을 맞추어 다양한 맥락에서의 유해성에 대한 심층적인 해석적 뉘앙스를 제대로 반영하지 못했습니다. 본 논문에서는 맥락을 인식하고 편향되지 않은 mLLM의 멀티모달 유해성 이해 평가를 제공하는 에이전트 기반의 아레나 스타일 평가 프레임워크인 MemeArena를 제안합니다. MemeArena는 다양한 해석적 맥락을 시뮬레이션하여 mLLM으로부터 관점별 분석을 유도하는 평가 작업을 구성합니다. 다양한 관점을 통합하고 평가자 간의 합의를 도출함으로써 멀티모달 유해성을 해석하는 mLLM의 능력을 공정하고 편향되지 않게 비교할 수 있습니다. 광범위한 실험을 통해 제안된 프레임워크가 평가 에이전트의 평가 편향을 효과적으로 줄이고, 평가 결과가 인간의 선호도와 밀접하게 일치하며, 멀티모달 유해성 이해에 대한 신뢰할 수 있고 포괄적인 mLLM 평가에 대한 가치 있는 통찰력을 제공함을 입증했습니다.
시사점, 한계점
•
시사점:
◦
맥락을 인식하고 편향되지 않은 mLLM 평가를 위한 새로운 프레임워크 MemeArena 제안
