Sequential knowledge editing 기법은 대규모 언어 모델의 지식을 저비용으로 지속적으로 업데이트하여 모델이 오래되었거나 잘못된 정보를 생성하는 것을 방지하는 것을 목표로 한다. 그러나 기존의 순차적 편집 방법은 장기간 편집 후 편집 성공률이 현저히 감소하는 문제가 있다. 본 연구는 편집 횟수가 증가함에 따라 모델의 출력이 원하는 목표에서 점점 더 멀어져 편집 성공률이 감소하는 현상을 발견하고, 이를 '중첩 노이즈 축적 문제'로 명명했다. 이는 관련 없는 지식의 잘못된 활성화와 활성화된 지식 간의 충돌과 관련이 있음을 분석을 통해 밝혀냈다. 이에 따라 동적 직교 제약 전략을 통해 지식 간의 충돌을 줄이는 DeltaEdit이라는 방법을 제안했다. 실험 결과, DeltaEdit은 중첩 노이즈를 현저히 줄여 가장 강력한 기준선보다 편집 성능을 16.8% 향상시켰다.
시사점, 한계점
•
시사점:
◦
장기간의 순차적 편집 과정에서 발생하는 '중첩 노이즈 축적 문제'를 제기하고, 그 원인을 분석함.
◦
동적 직교 제약 전략을 활용한 DeltaEdit이라는 새로운 편집 방법을 제안하여 성능 향상을 이끌어냄.
◦
실험을 통해 DeltaEdit의 효과를 입증하고, 기존 방법 대비 상당한 성능 개선을 보여줌.
•
한계점:
◦
구체적인 이론적 분석 과정 및 DeltaEdit의 알고리즘 세부 사항에 대한 추가적인 정보가 필요함.
◦
다른 유형의 언어 모델 또는 다양한 지식 편집 시나리오에서의 DeltaEdit의 성능 검증 필요.
