LURK(Latent UnleaRned Knowledge)는 적대적 접미사 프롬프팅을 통해 학습되지 않은 대규모 언어 모델(LLM)에 숨겨진 잔류 지식을 조사하는 새로운 프레임워크입니다. LURK는 해리포터 도메인(unlearning 평가의 일반적인 벤치마크)에 대한 잔류 지식을 유도하도록 설계된 적대적 프롬프트 접미사를 자동으로 생성합니다. 실험 결과, 성공적으로 unlearning 된 것으로 간주되는 모델조차도 표적화된 적대적 조건 하에서 특유의 정보를 유출할 수 있음을 보여주어 현재 unlearning 평가 기준의 중요한 한계를 강조합니다. 간접적인 조사를 통해 잠재적인 지식을 발견함으로써 LURK는 unlearning 알고리즘의 강력성을 평가하기 위한 보다 엄격하고 진단적인 도구를 제공합니다. 모든 코드는 공개적으로 제공될 예정입니다.
