본 논문은 사전 훈련된 대규모 언어 모델(LLM)의 지식을 제어되고 효율적인 방식으로 업데이트하는 지식 편집(KE) 방법론의 한계를 극복하기 위해, SAKE라는 새로운 방법을 제안합니다. 기존 KE 방법들이 단일 프롬프트로 사실을 모델링하여 문맥적 강건성 부족과 논리적 함의 일반화 실패 문제를 보이는 것과 달리, SAKE는 편집할 사실을 분포로 모델링합니다. 구체적으로, 최적 수송(Optimal Transport)을 활용하여, 의미적으로 유사한 문장들과 논리적 함의들을 포함하는 사실 관련 분포 전체에 걸쳐 LLM의 행동을 변화시킵니다. 실험 결과, SAKE는 기존 방법들보다 더 강건한 지식 편집 성능을 보이는 것으로 나타났습니다.
