ULTRAEDIT은 대규모 언어 모델(LLM)의 지속적인 학습을 위한 새로운 모델 편집 솔루션입니다. 기존 방법들의 한계를 극복하기 위해 학습, 주제, 메모리가 필요 없는 자체 포함 프로세스를 통해 경량 선형 대수 연산만으로 매개변수 수정을 수행합니다. 지속적인 학습 환경에서의 확장성을 높이기 위해 지속적인 정규화 전략을 사용하여 분포 변화에 적응하고 시간에 따른 일관성을 유지합니다. 기존 최고 성능 방법보다 7배 이상 빠른 편집 속도와 1/3 미만의 VRAM 소모량을 달성하며, 24GB 소비자급 GPU에서 7B LLM 편집이 가능합니다. 2백만 개 이상의 편집 쌍으로 구성된 ULTRAEDITBENCH 데이터셋을 사용하여 최대 1백만 개의 편집을 지원하면서 높은 정확도를 유지함을 보여줍니다.
