EVADE: Multimodal Benchmark for Evasive Content Detection in E-Commerce Applications
Created by
Haebom
저자
Ancheng Xu, Zhihao Yang, Jingpeng Li, Guanghu Yuan, Longze Chen, Liang Yan, Jiehui Zhou, Zhen Qin, Hengyun Chang, Hamid Alinejad-Rokny, Bo Zheng, Min Yang
개요
본 논문은 전자상거래 플랫폼에서 불법 또는 오해의 소지가 있는 상품 콘텐츠를 탐지하기 위해 점점 더 많이 사용되는 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 취약성을 다룹니다. 특히, 플랫폼 정책을 표면적으로 준수하면서 은밀하게 금지된 주장을 전달하는 회피 콘텐츠에 대한 취약성에 초점을 맞춥니다. 기존의 적대적 공격과 달리 회피 콘텐츠는 모호성과 맥락을 이용하여 탐지를 어렵게 만듭니다. 이에 연구진은 전자상거래에서 회피 콘텐츠 탐지에 대한 기초 모델을 평가하기 위해 특별히 설계된 최초의 전문가 큐레이션 중국어 다중 모달 벤치마크인 EVADE를 소개합니다. EVADE는 6개의 제품 범주(체형 변화, 키 성장, 건강 보조제 등)에 걸쳐 2,833개의 주석이 달린 텍스트 샘플과 13,961개의 이미지를 포함합니다. 두 가지 보완적인 작업(Single-Violation, All-in-One)을 통해 모델의 능력을 평가하고, 26개의 주류 LLM 및 VLM을 벤치마킹하여 기존 모델의 성능 차이와 한계를 보여줍니다. EVADE 데이터셋은 Hugging Face에서 공개적으로 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
전자상거래 플랫폼에서 회피 콘텐츠 탐지에 대한 최초의 전문가 큐레이션 중국어 다중 모달 벤치마크인 EVADE를 제공합니다.
◦
기존 LLM 및 VLM의 회피 콘텐츠 탐지 성능의 한계를 명확히 보여줍니다.
◦
더 안전하고 투명한 콘텐츠 조절 시스템 개발을 위한 기반을 마련합니다.
◦
명확한 규칙 정의가 사람과 모델의 판단 일치도를 향상시킨다는 것을 보여줍니다.
•
한계점:
◦
현재 벤치마크는 중국어 데이터에 기반하며, 다른 언어에 대한 일반화 가능성은 추가 연구가 필요합니다.
◦
벤치마크에 포함된 제품 범주가 제한적일 수 있으며, 더 다양한 범주의 데이터 확보가 필요할 수 있습니다.
◦
현재 모델들이 회피 콘텐츠에 취약하다는 것을 보여주지만, 이를 극복하기 위한 구체적인 해결책은 제시하지 않습니다.
