Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TH-Bench: Evaluating Evading Attacks via Humanizing AI Text on Machine-Generated Text Detectors

Created by
  • Haebom
Category
Empty

저자

Jingyi Zheng, Junfeng Wang, Zhen Sun, Wenhan Dong, Yule Liu, Xinlei He

개요

본 논문은 대규모 언어 모델(LLM)이 생성한 텍스트(MGT)를 탐지하는 기존 방법들을 우회하기 위한 공격(evading attacks)들을 종합적으로 평가하는 벤치마크, Text-Humanization Benchmark (TH-Bench)를 제시합니다. TH-Bench는 우회 효과, 텍스트 품질, 계산 오버헤드의 세 가지 측면에서 6가지 최첨단 공격들을 13가지 MGT 탐지기에 대해 6개 데이터셋(19개 도메인, 11개 LLM)을 사용하여 평가합니다. 실험 결과, 어떤 단일 공격도 세 가지 측면 모두에서 우수하지 않음을 보이고, 각 공격의 강점과 한계를 분석하여 세 가지 측면 간의 상호작용 및 최적화 방향을 제시합니다.

시사점, 한계점

시사점:
MGT 탐지기 우회 공격에 대한 최초의 종합적인 벤치마크인 TH-Bench를 제시하여 공격들의 성능을 체계적으로 비교 및 분석할 수 있는 기반을 마련했습니다.
다양한 공격들의 강점과 약점을 분석하여 향후 연구 방향을 제시했습니다.
세 가지 평가 측면(우회 효과, 텍스트 품질, 계산 오버헤드) 간의 상호 작용과 최적화 방향을 제시했습니다.
한계점:
TH-Bench에 포함된 공격 및 탐지기의 종류가 제한적일 수 있습니다. 향후 더욱 다양한 공격과 탐지기를 포함하여 벤치마크를 확장할 필요가 있습니다.
평가 측면 간의 상호작용에 대한 분석이 더욱 심화될 필요가 있습니다.
제시된 최적화 방향은 아직 예비 실험 단계이며, 추가적인 검증이 필요합니다.
👍