본 논문은 대규모 언어 모델(LLM)의 학습 데이터에 특정 텍스트가 사용되었는지 확인하는 기존의 완성 테스트(completion test)의 한계를 지적한다. 기존 테스트는 n-gram 중복을 기반으로 멤버십을 정의하지만, 이 방법은 쉽게 조작될 수 있음을 보여준다. 논문에서는 n-gram 기반 멤버십 정의에서 비회원(non-member)으로 분류되는 시퀀스라도 완성 테스트를 통과하는 경우를 다수 발견한다. 이는 정확한 중복, 유사 중복, 심지어 짧은 중복을 포함하는 다양한 자연스러운 사례를 통해 확인된다. 결론적으로, 적절한 n 값을 선택하기 어렵다는 점과 n-gram 멤버십의 부적절성을 강조하며, 임의의 n 값에 대해서도 대상 시퀀스를 포함하지 않고도 완성할 수 있는 적대적 데이터셋을 설계한다. 이는 학습 알고리즘이 이용 가능한 보조 정보를 고려하지 못하는 멤버십 정의의 실패를 보여준다.
