본 논문은 정적 훈련 데이터의 한계로 인해 환각 및 안전 위험과 같은 문제를 야기하는 대규모 언어 모델(LLM)의 문제점을 다룹니다. 모델의 내부 지식을 수정하는 locate-and-edit 패러다임이 재훈련보다 비용 효율적인 대안으로 입증되었지만, 기존의 비구조적 접근 방식, 특히 창 기반 자기회귀 방법은 초기 메모리 업데이트와 후속 출력 토큰 간의 인과적 의존성을 종종 깨뜨립니다. 본 연구는 이러한 한계를 이론적으로 분석하고, Matryoshka 스타일 목표와 적응적 손실 계수를 통해 이러한 의존성을 유지하는 새로운 메모리 업데이트 메커니즘인 Matryoshka Unstructured Knowledge Editing ($\mu$KE)를 제시합니다. 두 개의 모델과 네 개의 벤치마크에 대한 실험적 평가는 $\mu$KE가 최첨단 방법보다 편집 효율성을 최대 12.33% 향상시키고 다양한 형식의 편집에 적용될 때에도 강력함을 유지함을 보여주며, LLM에서 효과적인 비구조적 지식 편집을 위한 잠재력을 강조합니다.
