본 논문은 대규모 언어 모델 편집에서 발생하는 과적합 문제를 해결하기 위해 REACT(Representation Extraction And Controllable Tuning) 프레임워크를 제안한다. REACT는 두 단계로 구성된다. 첫 번째 단계에서는 맞춤 자극을 사용하여 잠재적 사실 표현을 추출하고, PCA와 학습 가능한 선형 변환을 통해 각 인스턴스에 대한 방향성 "믿음 변화" 벡터를 계산한다. 두 번째 단계에서는 미리 훈련된 분류기를 사용하여 문맥적으로 필요한 경우에만 편집을 허용하고, 얻어진 벡터를 이용하여 은닉 상태에 제어 가능한 섭동을 적용한다. EVOKE, COUNTERFACT, MQuAKE 벤치마크 실험 결과, REACT는 거의 모든 평가 지표에서 과적합을 크게 줄이고 다양한 편집 시나리오에서 균형 잡힌 기본 편집 성능(신뢰성, 지역성, 일반성)을 유지함을 보여준다.
