Efficient Knowledge Graph Unlearning with Zeroth-order Information
Created by
Haebom
저자
Yang Xiao, Ruimeng Ye, Bohan Liu, Xiaolong Ma, Bo Hui
개요
본 논문은 Right to be Forgotten과 같은 규제로 인해 모델에서 학습 데이터 및 그 영향을 제거하는 것에 대한 요구가 증가함에 따라, 전체 재학습의 비용 문제를 해결하기 위해 효율적인 지식 그래프(KG) 언러닝 알고리즘을 제시합니다. 지식 그래프의 독특한 구조와 엔티티 간의 의미 관계로 인해 KG 언러닝이 비자명적인 문제임을 지적하며, 제거된 구성 요소의 영향을 추정하여 언러닝하는 것은 대규모 지식 그래프에 적용될 때 상당한 계산 오버헤드를 초래합니다. 따라서, KG 언러닝을 위한 영향 함수를 정의하고, 매개변수 업데이트를 위한 1차 및 2차 도함수의 비용이 많이 드는 계산 없이 모델의 민감도를 근사화하는 방법을 제안합니다. 구체적으로, 테일러 전개를 사용하여 데이터 제거로 인한 매개변수 변화를 추정하고, 1차 기울기와 2차 도함수가 계산 부하를 지배한다는 점을 고려하여 피셔 행렬과 0차 최적화를 사용하여 계산 그래프를 구성하지 않고 역-헤시안 벡터 곱을 근사합니다. 실험 결과, 제안된 방법이 언러닝 효율성과 언러닝 품질 측면에서 기존 최첨단 그래프 언러닝 기준보다 상당히 우수함을 보여줍니다. 코드는 https://github.com/NKUShaw/ZOWFKGIF 에서 공개됩니다.
