본 논문은 대규모 언어 모델(LLM)의 사전 학습 데이터 감지를 위한 새로운 방법인 Fine-tuned Score Deviation(FSD)을 제안합니다. 기존의 Perplexity나 Min-k%와 같은 점수 함수 기반 방법들은 다양하고 복잡한 사전 학습 데이터로 인해 성능이 저조하지만, 본 논문에서는 LLM 공개 이후 쉽게 수집 가능한 미지의 데이터를 활용하는 방식을 제시합니다. 미지의 데이터로 미세 조정 후 LLM의 perplexity 변화가 사전 학습 데이터 포함 여부에 따라 다르게 나타나는 점에 착안하여, 미세 조정 후 점수의 편차를 측정하는 FSD 방법을 제안합니다. 소량의 미지 데이터를 사용하여 비회원 데이터의 점수를 크게 낮추고, 회원 데이터와의 편차를 확대함으로써 사전 학습 데이터 감지 성능을 향상시킵니다. 다양한 모델과 벤치마크 데이터셋에 대한 실험을 통해 FSD의 효과를 검증합니다.
