COPYCHECK은 LLM 훈련 데이터에 저작권이 있는 콘텐츠가 사용되었는지 감지하기 위한 새로운 프레임워크입니다. LLM의 과도한 확신을 활용하여 "보이는" (훈련 데이터) 및 "보이지 않는" (비훈련 데이터) 콘텐츠를 구별하는 불확실성 패턴을 포착합니다. COPYCHECK는 (1) 대규모 훈련 데이터에 대한 의존도를 줄이기 위한 파일의 전략적 분할, (2) 경험적으로 조정된 임계값의 필요성을 제거하기 위한 불확실성 기반 비지도 클러스터링이라는 두 가지 전략을 구현합니다. 실험 결과는 COPYCHECK가 LLaMA 7b에서 평균 90.1%, LLaMA2 7b에서 91.6%의 균형 정확도를 달성하여 보이는 파일을 감지하며, SOTA 기반과 비교하여 90% 이상의 상대적 개선을 보였습니다. 또한 GPT-J 6B에서도 높은 성능을 유지하여 아키텍처 전반에 걸쳐 강력한 일반화 성능을 보입니다.
