본 논문은 신경 정보 검색(IR) 시스템에서 특정 데이터를 제거하면서 모델 성능을 유지하는 기계적 언러닝(machine unlearning) 문제를 다룹니다. 기존 기계적 언러닝 방법을 IR에 적용하면 검색 효율성이 저하되거나, 사용자에게 제시되는 검색 결과에서 특정 항목이 제거됨으로써 언러닝 작업이 의도치 않게 노출될 수 있습니다. 본 논문에서는 순위 무결성을 유지하기 위해 대체 문서를 통합함으로써 (신경망 기반) IR 맥락에서 기계적 언러닝을 확장하는 수정 순위 매김(corrective unranking)을 공식화하고, 이 작업을 위한 새로운 교사-학생 프레임워크인 수정 순위 증류(Corrective unRanking Distillation, CuRD)를 제안합니다. CuRD는 (1) 잊어야 할 샘플의 출력 관련성 점수가 순위가 낮은 검색 불가능한 샘플의 점수를 모방하도록 (훈련된) 신경망 IR 모델을 조정하여 망각을 용이하게 하고, (2) 대체 샘플의 관련성 점수가 해당하는 잊어야 할 샘플의 점수와 일치하도록 미세 조정하여 수정을 가능하게 하며, (3) 잊어야 할 대상이 아닌 샘플의 성능을 유지하려고 합니다. MS MARCO와 TREC CAR 데이터셋을 사용하여 네 가지 신경망 IR 모델(BERTcat, BERTdot, ColBERT, PARADE)에서 CuRD를 평가합니다. 훈련 데이터셋의 1%와 20%의 망각 집합 크기에 대한 실험은 CuRD가 모델 유지 및 일반화 능력을 유지하면서 망각과 수정 측면에서 7개의 최첨단 기준선을 능가함을 보여줍니다.
