Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

AdaDetectGPT: Adaptive Detection of LLM-Generated Text with Statistical Guarantees

Created by
  • Haebom

저자

Hongyi Zhou, Jin Zhu, Pingfan Su, Kai Ye, Ying Yang, Shakeel A O B Gavioli-Akilagun, Chengchun Shi

개요

본 논문은 텍스트가 사람 또는 대규모 언어 모델(LLM)에 의해 생성되었는지 판단하는 문제를 연구합니다. 기존의 로그 확률 기반 탐지기는 특정 LLM의 분포 함수를 사용하여 관찰된 텍스트의 로그 확률에서 파생된 통계를 활용합니다. 하지만 로그 확률에만 의존하는 것은 최적이 아닐 수 있습니다. 이에 대응하여, AdaDetectGPT를 제안합니다. AdaDetectGPT는 학습 데이터로부터 증인 함수를 적응적으로 학습하여 로그 확률 기반 탐지기의 성능을 향상시키는 새로운 분류기입니다. AdaDetectGPT의 진양성률, 위양성률, 진음성률 및 음성률에 대한 통계적 보장을 제공하며, 광범위한 수치 연구를 통해 AdaDetectGPT가 다양한 데이터 세트와 LLM 조합에서 기존 최고 성능 방법보다 거의 일관적으로 성능을 향상시키며, 최대 37%까지 향상될 수 있음을 보여줍니다.

시사점, 한계점

시사점:
AdaDetectGPT는 로그 확률 기반 탐지기의 성능을 향상시키는 새로운 접근 방식을 제시합니다.
다양한 데이터 세트와 LLM 조합에서 기존 방법보다 우수한 성능을 보입니다.
진양성률, 위양성률, 진음성률 및 음성률에 대한 통계적 보장을 제공합니다.
최대 37%까지 성능 향상을 보입니다.
Python 구현이 제공되어 사용자가 쉽게 접근할 수 있습니다.
한계점:
논문에 구체적인 한계점에 대한 언급은 없음.
👍