Goal-Directed Search Outperforms Goal-Agnostic Memory Compression in Long-Context Memory Tasks
Created by
Haebom
Category
Empty
저자
Yicong Zheng, Kevin L. McKee, Thomas Miconi, Zacharie Bugaud, Mick van Gelderen, Jed McCaleb
SUMER: 경험 재생을 통한 비압축 메모리 내 검색
개요
본 논문은 대규모 언어 모델(LLM)에서 인간과 유사한 장기 기억을 가능하게 하는 방법에 대한 연구를 제시한다. 기존의 메모리 프레임워크와 벤치마크는 기억 회상 및 추론이 필요한 작업에서 최적의 메모리 압축 알고리즘을 찾는 데 집중했지만, 특정 벤치마크에 적합한 프롬프트 및 메모리 아키텍처를 찾음으로써 인간의 편향을 강화하는 결과를 낳았다. 본 논문에서는 비압축 정보에 대한 목표 지향적 검색이 더 우수한 성능을 보일 수 있다고 가정하고, 검색 도구를 사용하여 정보를 수집하고 목표 질문에 답하는 방법을 배우는 RLVR(Verifiable Reward)를 갖춘 종단간 강화 학습 에이전트인 SUMER(Search in Uncompressed Memory via Experience Replay)를 제안한다. LoCoMo 데이터 세트에서 Qwen2.5-7B-Instruct를 사용한 SUMER는 검색 도구를 사용하여 모든 편향된 메모리 압축 방식과 전체 컨텍스트 기준선을 능가하여 SOTA 성능을 달성했다.
시사점, 한계점
•
시사점:
◦
비압축 데이터에 대한 단순한 검색 방식이 현재의 장기 컨텍스트 메모리 작업에서 목표 불가지론적이고 편향된 압축 알고리즘보다 우수한 성능을 보인다.
◦
더 동적이고 자율적으로 확장 가능한 새로운 패러다임과 벤치마크에 대한 필요성을 제기한다.
◦
SUMER는 LoCoMo 데이터셋에서 기존 최고 성능보다 43% 향상된 SOTA를 달성했다.
