Not-in-Perspective: Towards Shielding Google's Perspective API Against Adversarial Negation Attacks

Created by

Haebom

저자

Michail S. Alexiou, J. Sukarno Mertoguno

💡 개요

본 논문은 소셜 미디어에서의 사이버 폭력 증가로 인해 중요성이 커진 자동화된 유해성 탐지 시스템의 취약점을 다룹니다. 특히, 기존 통계 기반 기계 학습 모델이 논리적 변형, 특히 '부정(negation)'을 포함하는 적대적 공격에 취약하다는 문제를 제기합니다. 이를 해결하기 위해, 본 연구는 기존 기계 학습 모델을 감싸는 형식 추론 기반의 방법론을 제안하며, 이는 전처리 및 후처리 단계에서 유해성 점수의 정확성과 효과성을 크게 향상시키는 것으로 나타났습니다.

🔑 시사점 및 한계

•

형식 추론 기반의 래퍼(wrapper)를 통해 기존 기계 학습 기반 유해성 탐지 시스템의 적대적 부정 공격에 대한 강건성을 크게 향상시킬 수 있습니다.

•

제안된 하이브리드 방식(형식 추론 + 기계 학습)이 순수 통계 기반 방식보다 다양한 적대적 부정 공격에 대해 더 우수한 성능을 보임을 실험적으로 입증했습니다.

•

제안된 방법론은 Google Perspective API와 같은 기존 시스템에 적용될 수 있으며, 온라인 콘텐츠 모니터링 및 중재 시스템의 신뢰성을 높이는 데 기여할 수 있습니다.

•

본 연구에서 제시된 형식 추론 래퍼는 부정 공격에 효과적이지만, 다른 유형의 적대적 공격(예: 동의어 대체, 문맥 조작 등)에 대한 효과성은 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage