본 논문은 대규모 언어 모델(LLM)의 환각 현상을 해결하기 위해, 기존 지식을 유지하면서 목표 지식을 업데이트하는 새로운 모델 편집 방법인 AlphaEdit을 제안합니다. 기존의 '찾기-편집' 방식은 편집 과정에서 기존 지식을 손상시키는 문제점이 있었는데, AlphaEdit은 편집을 위한 변화량을 기존 지식의 영향을 받지 않는 공간(null space)에 투영하여 이 문제를 해결합니다. 이론적으로 기존 지식에 대한 질의 결과는 변하지 않음을 증명하고, LLaMA3, GPT2-XL, GPT-J 등 다양한 LLM에서 기존 방법보다 평균 36.4% 성능 향상을 보임을 실험적으로 확인했습니다.
