본 논문은 장기간에 걸친 다회차 상호작용에서 외부 정보를 검색하고, 관찰에 적응하며, 상호 의존적인 질문에 답하는 현대 언어 에이전트의 한계를 다룹니다. 기존의 LLM 시스템은 관련성에 관계없이 모든 과거 회차를 추가하는 완전 컨텍스트 프롬프팅에 의존하여 메모리의 무한 성장, 계산 비용 증가, 분포 외 입력 길이에서의 추론 성능 저하를 야기합니다. 이에 본 논문은 상수 메모리를 사용하여 장기간 다회차 작업을 수행할 수 있는 end-to-end 강화 학습 프레임워크인 MEM1을 제안합니다. MEM1은 각 회차마다 메모리 통합 및 추론을 지원하는 압축된 공유 내부 상태를 업데이트하며, 환경으로부터 새로운 관찰 결과와 이전 메모리를 통합하는 동시에 관련성이 없거나 중복된 정보를 전략적으로 삭제합니다. 또한, 기존 데이터셋을 임의의 복잡한 작업 시퀀스로 구성하여 더욱 현실적이고 구성적인 환경에서의 학습을 지원하는 단순하면서도 효과적이고 확장 가능한 방법을 제안합니다. 내부 검색 QA, 오픈 도메인 웹 QA, 다회차 웹 쇼핑을 포함한 세 가지 도메인에 걸친 실험을 통해 MEM1-7B는 16개 목표의 멀티홉 QA 작업에서 Qwen2.5-14B-Instruct에 비해 성능을 3.5배 향상시키는 동시에 메모리 사용량을 3.7배 줄이고, 학습 기간을 넘어 일반화됨을 보여줍니다. 본 연구 결과는 효율성과 성능 모두를 최적화하는 장기간 상호 작용 에이전트를 학습하기 위한 기존 솔루션에 대한 확장 가능한 대안으로서 추론 기반 메모리 통합의 가능성을 보여줍니다.
