Continual Knowledge Updating in LLM Systems: Learning Through Multi-Timescale Memory Dynamics

Created by

Haebom

저자

Andreas Pattichis, Constantine Dovrolis

💡 개요

이 논문은 끊임없이 변화하는 세상에 맞춰 사전 훈련된 LLM 시스템의 외부 메모리를 지속적으로 업데이트하는 문제를 다룹니다. 기존의 명시적인 메모리 관리 방식 대신, 생물학적 기억의 다중 시간 척도 역학을 모방한 "Memini"라는 새로운 접근 방식을 제안합니다. Memini는 Benna-Fusi 모델을 기반으로 하는 연관 메모리를 사용하여 지식을 방향성 그래프로 조직하며, 이를 통해 에피소드 민감성, 점진적 통합, 선택적 망각이라는 세 가지 학습 메커니즘을 단일 메커니즘으로 통합합니다.

🔑 시사점 및 한계

•

LLM 시스템의 외부 메모리를 능동적인 학습 기질로 재정의하여 동적인 지식 업데이트를 가능하게 합니다.

•

생물학적 기억 메커니즘을 모방함으로써 LLM의 지속적인 학습 및 적응 능력을 향상시킬 수 있습니다.

•

제안된 Memini 시스템의 실제 LLM 시스템 적용 시 성능 및 확장성에 대한 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage