본 논문은 대규모 언어 모델(LLM)에서 지식을 제거하는 기존 방법들이 데이터 간의 상호 연결성을 고려하지 않는다는 점을 지적하며, 구조적 데이터셋을 생성하는 새로운 방법인 PISTOL을 제안합니다. PISTOL은 계약 관계의 구조적 특성을 활용하여, 구조적 데이터가 LLM의 지식 제거 효과에 미치는 영향에 대한 통찰력을 제공하고, 명확한 평가를 위한 정확하고 간결한 기준 데이터를 제공하며, 사전 훈련된 LLM의 입력 없이 속성을 생성하여 혼란의 위험을 줄입니다. PISTOL을 이용해 생성된 데이터셋을 활용한 실험 결과, 데이터의 상호 연결성이 증가할수록 지식 제거의 어려움이 커지고, 지식 그래프의 밀도와 지식 제거의 어려움 사이에 양의 상관관계가 있으며, 제거할 데이터가 특정 영역에 치우칠 경우 모든 영역에서 성능을 유지하는 것이 어렵다는 것을 보여줍니다.
