본 논문은 대규모 언어 모델(LLM)의 학습 데이터에 특정 텍스트가 포함되었는지 확인하는 기존의 완성 테스트의 취약성을 다룬다. 기존의 완성 테스트는 n-gram 중복을 기반으로 멤버십을 정의하지만, 이러한 방법은 조작될 수 있음을 보여준다. 연구진은 n-gram 기반 멤버십 정의가 실패하는 여러 자연적인 사례(정확한 중복, 유사 중복, 짧은 중복 포함)를 제시하며, LLM을 재학습하여 완성된 샘플을 제거한 후에도 완성 테스트가 성공하는 경우를 발견했다. 이를 통해 n-gram 기반 멤버십 정의에 적합한 단일 n 값을 찾기 어렵다는 점을 강조한다. 결론적으로, 연구진은 어떤 합리적인 n 값에도 대상 시퀀스를 포함하지 않고도 완성되도록 하는 적대적 데이터셋을 설계하여 n-gram 멤버십의 부적절성을 보여주고, 멤버십 정의가 학습 알고리즘에 사용 가능한 보조 정보를 고려하지 못한다는 점을 시사한다.
