Learning to Remember, Learn, and Forget in Attention-Based Models

Created by

Haebom

저자

Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Skhikerujah, Emre Neftci

💡 개요

본 연구는 트랜스포머 모델의 인컨텍스트 학습(ICL)이 고정된 용량과 간섭 문제를 겪는 점에 착안하여, ICL을 지속 학습 문제로 재정의하고 베이즈 메타플라스틱성을 활용한 새로운 자체 주의 모델인 Palimpsa를 제안합니다. Palimpsa는 각 주의 상태의 가소성을 누적된 지식을 포착하는 사전 분포에 기반한 중요도 상태에 연결함으로써, 기존 게이트 선형 주의 모델들을 특정 아키텍처 및 사후 근사치로 통합하고 Mamba2를 망각이 지배하는 특수한 경우로 설명합니다.

🔑 시사점 및 한계

•

Palimpsa 모델은 기존 비메타플라스틱 모델을 메타플라스틱 모델로 변환하여 메모리 용량을 크게 확장할 수 있는 이론적 기반을 제공합니다.

•

Palimpsa는 다중 쿼리 연상 기억(MQAR) 벤치마크와 상식 추론 과제에서 기존 모델 대비 일관되게 우수한 성능을 보여주었습니다.

•

본 연구는 Palimpsa의 이론적 프레임워크를 더욱 발전시켜, 다양한 지속 학습 시나리오에 적용하고 실제 복잡한 문제 해결 능력 향상에 기여할 수 있을 것입니다.

PDF 보기

Made with Slashpage