HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing

작성자

Haebom

카테고리

Empty

저자

Yuan Fang, Yi Xie, Xuming Ran

💡 개요

본 논문은 배포 후 최신 정보를 반영하거나 오류를 수정해야 하는 대규모 언어 모델의 지식 업데이트 문제를 해결하고자 합니다. 이를 위해 HoReN이라는 새로운 파라미터 보존 방식의 모델 편집 기법을 제안합니다. HoReN은 이산 키-값 메모리를 활용하여 각 코드북 항목을 지식 키이자 Hopfield 저장 패턴으로 취급하고, 단위 초구면 상의 각도 유사성을 통해 편집을 검색하며, 감쇠된 Hopfield 동역학으로 쿼리를 정제하여 동의어 재구성에 효과적으로 대응합니다.

🔑 시사점 및 한계

•

개념 확장성: HoReN은 기존 모델 편집 방식들이 겪는 편집 누적에 따른 성능 저하 문제를 극복하고, 다양한 종류의 벤치마크에서 일관적인 성능 향상을 보여줍니다.

•

대규모 편집 능력: 50,000개에 달하는 대규모 순차적 편집에서도 안정적인 성능을 유지하며, 기존 편집기들이 10,000개 편집에서도 심각한 성능 저하를 보이는 것과 비교할 때 뛰어난 확장성을 입증합니다.

•

복잡한 지식 구조: 복잡하거나 구조화된 지식 편집에 대한 HoReN의 장기적인 효과와 다른 종류의 모델 아키텍처에 대한 적용 가능성은 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage