Sign In

Balancing Knowledge Updates: Toward Unified Modular Editing in LLMs

Created by
  • Haebom
Category
Empty

저자

Jiahao Liu, Zijian Wang, Kuo Zhao, Dong Hu

개요

대규모 언어 모델(LLM)의 사실적 지식을 업데이트하는 효율적인 방법으로 지식 편집이 부상했지만, 기존 방법은 다층 퍼셉트론(MLP) 모듈에 집중하여 주의(Attn) 모듈과 같은 다른 구성 요소를 종종 간과했습니다. 본 논문은 Attn 모듈이 사실적 지식 저장 및 검색에 중요한 역할을 한다는 것을 발견하고, 연관 메모리 패러다임을 확장하여 MLP와 Attn 모듈을 함께 업데이트하는 IntAttn-Edit를 제안합니다. 이 방법은 각 모듈의 지식 저장 기여도에 비례하여 업데이트 규모를 할당하는 지식 균형 전략을 사용하며, 실험 결과 기존 방법보다 편집 성공률, 일반화 성능, 지식 보존 측면에서 우수한 결과를 보였습니다.

시사점, 한계점

시사점:
Attn 모듈이 LLM의 지식 저장에 중요한 역할을 한다는 것을 밝힘.
MLP와 Attn 모듈을 함께 업데이트하는 IntAttn-Edit 방법 제안.
지식 균형 전략을 통해 다양한 설정에서 최적의 편집 성능을 유지.
기존 방법 대비 향상된 편집 성공률, 일반화 성능, 지식 보존 달성.
한계점:
논문에 명시된 한계점은 없음. (단, 추가적인 분석 및 연구가 필요할 수 있음)
👍