본 논문은 정적 훈련 데이터의 한계로 인해 환각 및 안전 위험과 같은 문제를 야기하는 대규모 언어 모델(LLMs)의 문제점을 다룹니다. 모델의 내부 지식을 수정하는 locate-and-edit 패러다임은 재훈련보다 비용 효율적인 대안으로 입증되었지만, 특히 창 기반 자기회귀 방법과 같은 현재의 비정형 접근 방식은 초기 메모리 업데이트와 후속 출력 토큰 간의 인과적 종속성을 종종 방해합니다. 이 연구에서는 이러한 한계를 이론적으로 분석하고, Matryoshka 스타일 목표와 적응형 손실 계수를 통해 이러한 종속성을 유지하는 새로운 메모리 업데이트 메커니즘인 Matryoshka Unstructured Knowledge Editing ($\mu$KE)를 제시합니다. 두 모델에 대한 네 가지 벤치마크의 실험적 평가는 $\mu$KE가 최첨단 방법보다 편집 효율성을 최대 12.33% 향상시키고 다양한 형식의 편집에 적용될 때에도 강력함을 유지함을 보여주어 LLMs에서 효과적인 비정형 지식 편집의 잠재력을 강조합니다.
