긴 문맥 처리에 어려움을 겪는 대규모 언어 모델(LLM)의 한계를 해결하기 위해, BudgetMem이라는 새로운 메모리 증강 아키텍처를 제안한다. BudgetMem은 모든 정보를 기억하는 대신, 선택적 메모리 정책과 특징 기반 중요도 점수를 결합하여 예산 제약 내에서 저장할 정보를 학습한다. 이 시스템은 BM25 희소 검색과 결합된 학습된 게이팅 메커니즘을 사용하여 효율적인 정보 접근을 가능하게 한다. Llama-3.2-3B-Instruct 모델을 사용하여 짧은(237 토큰) 및 긴(5K-10K 토큰) 문서를 포함한 700개의 질문-답변 쌍에 대한 실험을 통해 BudgetMem이 RAG 기반 시스템 대비 1.0% F1 점수 감소와 72.4% 메모리 절약을 달성했음을 보여준다. BudgetMem은 예산 민감도 분석, 기본 비교 및 문서 길이 분석을 통해 문서 길이가 길수록 이점이 증가함을 입증하며, 제한된 하드웨어에서도 장기간의 문맥 시스템을 배포할 수 있는 실용적인 방법을 제공한다.
