본 논문은 대규모 언어 모델(LLM)이 생성한 텍스트를 탐지하는 기존 방법들의 현실 세계 적용 가능성에 대한 한계를 지적하고, 이를 평가하기 위한 새로운 벤치마크 DetectRL을 제시합니다. DetectRL은 LLM의 악용 가능성이 높은 영역에서 수집한 인간 작성 데이터와 다양한 공격 기법(예: 어휘 치환, 철자 오류 추가)을 적용하여 생성된 LLM 텍스트 데이터로 구성됩니다. 기존 연구와 달리, 현실적인 시나리오를 반영하여 다양한 프롬프트 사용, 인간의 수정, 오타 등을 고려한 데이터셋을 구축하였으며, 다양한 요소(작문 스타일, 모델 종류, 공격 방법, 텍스트 길이, 인간의 글쓰기 요소)가 탐지기 성능에 미치는 영향을 분석합니다. 결과적으로, 최첨단 탐지 기술조차도 DetectRL에서 저조한 성능을 보임을 확인하였고, DetectRL이 현실적인 환경에서 LLM 탐지기의 성능 평가 및 발전에 기여할 수 있음을 시사합니다. 데이터와 코드는 공개적으로 제공됩니다.
