COPYCHECK은 저작권 침해 가능성을 탐지하기 위해 LLM의 불확실성 신호를 활용하는 새로운 프레임워크입니다. LLM의 과도한 확신을 역 이용하여, '훈련 데이터에 포함된(seen)' 콘텐츠와 '훈련 데이터에 포함되지 않은(unseen)' 콘텐츠를 구별합니다. COPYCHECK는 (1) 대규모 훈련 데이터 의존성을 줄이기 위한 파일의 전략적 분할, (2) 경험적으로 조정된 임계값의 필요성을 제거하기 위한 불확실성 기반의 비지도 클러스터링을 포함하는 2단계 전략을 사용합니다. LLaMA 7b에서 평균 90.1%, LLaMA2 7b에서 91.6%의 균형 정확도를 달성하며, SOTA 대비 90% 이상의 상대적 성능 향상을 보입니다. 또한, GPT-J 6B에서도 높은 성능을 유지하며 아키텍처 간의 일반화 가능성을 보여줍니다.
