MemEIC: A Step Toward Continual and Compositional Knowledge Editing
Created by
- Haebom
Category
Empty
저자
Jin Seong, Jiyun Park, Wencke Liermann, Hongseok Choi, Yoonji Nam, Hyun Kim, Soojong Lim, Namhoon Lee
MemEIC: 지속적이고 구성적인 지식 편집 (CCKE)
개요
대규모 시각-언어 모델(LVLM)의 동적 특성으로 인해 지속적인 업데이트가 필요하다. MemEIC는 LVLM에서 지속적이고 구성적인 지식 편집(CCKE)을 위한 새로운 방법이다. MemEIC는 시각 및 텍스트 지식을 순차적으로 구성적으로 편집할 수 있게 한다. 이 방법은 교차 모달 증거 검색을 위한 이중 외부 메모리와 각 모달리티에 대한 분리된 매개변수 업데이트를 용이하게 하는 이중 LoRA 어댑터를 특징으로 하는 하이브리드 외부-내부 편집기를 사용한다. 핵심 구성 요소는 구성적 추론을 위해 선택적으로 활성화되는 두뇌에서 영감을 받은 지식 연결기이며, 다양한 모달리티 간의 정보를 통합한다. 실험 결과 MemEIC는 복잡한 멀티모달 질문에 대한 성능을 크게 향상시키고 이전 편집을 효과적으로 보존하여 LVLM에서 CCKE의 새로운 벤치마크를 설정했다.
시사점, 한계점
•
LVLM에서 시각 및 텍스트 지식의 지속적이고 구성적인 편집을 가능하게 하는 MemEIC 제안.
•
교차 모달 증거 검색을 위한 이중 외부 메모리 및 분리된 매개변수 업데이트를 위한 LoRA 어댑터 사용.
•
구성적 추론을 위한 지식 연결기 통합.
•
복잡한 멀티모달 질문에 대한 성능 향상 및 이전 편집의 효과적인 보존.
•
논문의 구체적인 한계점에 대한 언급은 없음.
