MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection

Created by

Haebom

저자

Ivo Bueno, Lea Hirlimann, Enkelejda Kasneci

💡 개요

본 논문은 밈(meme)의 멀티모달 특성과 문화적 맥락으로 인해 탐지가 어려운 혐오 발언(hate speech) 문제를 해결하기 위해, 프롬프트 기반 약한 지도 학습(Prompted Weak Supervision, PWS) 접근법을 제안한다. 제안된 PWS 방식은 밈 이해 과정을 질문 기반의 레이블링 함수(labeling function)로 분해하여 동성애 혐오 및 트랜스젠더 혐오 탐지에 적용하며, Qwen3-VLM을 활용하여 타겟 질문에 대한 답변을 통해 특징을 추출한다. 이를 통해 다국어 환경에서 직접적인 VLM 분류보다 우수한 성능을 보이며, 특히 영어, 중국어, 힌디어에서 상위권을 달성했다.

🔑 시사점 및 한계

•

멀티모달 혐오 발언 탐지에서 PWS 접근법이 기존의 직접적인 VLM 분류보다 효과적임을 입증했다.

•

특히 다국어 환경에서 PWS는 언어별 성능 향상에 기여하며, 중국어와 힌디어에서 상당한 개선을 보였다.

•

질문 기반의 분해된 레이블링 함수와 특징 추출 방식은 밈의 복잡한 의미를 효과적으로 파악하는 데 기여한다.

•

반복적인 오류 기반의 레이블링 함수 확장 및 특징 가지치기를 통해 모델의 일반화 성능을 향상시킬 수 있다.

•

향후 과제로는 더 다양한 종류의 혐오 발언 및 문화적 맥락을 포괄하는 PWS 프레임워크 개발과, 레이블링 함수 설계의 효율성 및 자동화 방안 연구가 있을 수 있다.

PDF 보기

Made with Slashpage