본 논문은 상용 대규모 언어 모델(GPT-4, Claude, o1)이 생성한 텍스트를 사람이 얼마나 잘 감지하는지 연구합니다. 300개의 논픽션 영어 기사를 대상으로, 어노테이터들이 각 기사를 사람이 작성했는지 AI가 생성했는지 분류하고, 그 이유를 단락 길이로 설명하도록 했습니다. 실험 결과, LLM을 자주 사용하는 어노테이터들은 전문적인 훈련이나 피드백 없이도 AI 생성 텍스트 감지에 뛰어난 능력을 보였습니다. 5명의 전문가 어노테이터의 다수결 투표는 300개 기사 중 단 1개만 잘못 분류하여, 회피 전술(예: 의역, 인간화)에도 불구하고 평가된 대부분의 상용 및 오픈소스 검출기보다 성능이 훨씬 뛰어났습니다. 전문가들의 자유 형식 설명에 대한 정성적 분석 결과, 특정 어휘적 단서('AI 어휘')에 크게 의존하지만, 자동 검출기가 평가하기 어려운 텍스트 내의 더 복잡한 현상(예: 형식성, 독창성, 명확성)도 감지하는 것으로 나타났습니다. 본 논문에서는 향후 AI 생성 텍스트의 인간 및 자동 감지 연구를 촉진하기 위해 어노테이션된 데이터셋과 코드를 공개합니다.
