Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evading Toxicity Detection with ASCII-art: A Benchmark of Spatial Attacks on Moderation Systems

Created by
  • Haebom

저자

Sergey Berezin, Reza Farahbakhsh, Noel Crespi

개요

본 논문은 ASCII 아트 형태의 공간적으로 구조화된 텍스트를 언어 모델이 해석하지 못하는 취약점을 이용한 독성 감지 모델에 대한 새로운 적대적 공격 방법을 제시합니다. 독성 감지 시스템의 로버스트니스를 시각적으로 난독화된 입력에 대해 평가하기 위한 벤치마크인 ToxASCII를 제안하고, 다양한 최첨단 대규모 언어 모델과 전용 모더레이션 도구에서 완벽한 공격 성공률(ASR)을 달성함으로써 현재 텍스트 전용 모더레이션 시스템의 심각한 취약성을 드러냅니다.

시사점, 한계점

시사점: ASCII 아트를 이용한 적대적 공격이 독성 감지 모델에 매우 효과적임을 보여줌으로써, 현존하는 텍스트 기반 독성 감지 시스템의 취약성을 명확히 제시합니다. 시각적 정보를 고려한 새로운 독성 감지 기법 개발의 필요성을 강조합니다. ToxASCII 벤치마크는 향후 독성 감지 모델의 로버스트니스 평가에 유용한 도구가 될 수 있습니다.
한계점: ASCII 아트에 국한된 공격 방법으로, 다른 형태의 난독화 기법에 대한 효과는 검증되지 않았습니다. 실제 온라인 환경에서의 적용 가능성 및 효과에 대한 추가 연구가 필요합니다. ToxASCII 벤치마크의 범용성 및 일반화 가능성에 대한 추가 검증이 필요합니다.
👍