본 논문은 과거 경험으로부터 학습하고 적응하는 인간과 달리, 대규모 언어 모델(LLM)과 에이전트 모델들이 이전 과제의 추론을 유지하고 미래 상황에 적용하는 데 어려움을 겪는다는 문제를 제기한다. 이를 해결하기 위해, 과거 로그의 이전 계산과 추론을 테스트 시간에 직접 재사용하여 모델의 과거 과제 학습 능력을 향상시키고 새로운 과제에서 성능을 향상시키는 새로운 프레임워크인 로그 증강 생성(LAG)을 제안한다. LAG는 과거 과제의 전체 추론 맥락을 인코딩하면서 선택된 토큰의 부분 집합에 대해서만 KV 캐시를 저장하는 키-값(KV) 캐시를 사용하여 작업 로그를 나타낸다. 새로운 과제가 발생하면, LAG는 관련 로그에서 KV 값을 검색하여 생성을 증강한다. 기존의 반성 기반 메모리 메커니즘과 달리 추가적인 지식 추출이나 증류 단계 없이 이전 추론과 계산을 직접 재사용한다. 또한 효율성 향상보다는 정확도 향상에 초점을 맞춘 기존의 KV 캐싱 기법을 넘어선다. 지식 및 추론 집약적 데이터셋에 대한 실험을 통해 제안된 방법이 로그를 활용하지 않는 표준 에이전트 시스템과 반성 및 KV 캐시 기법 기반의 기존 솔루션보다 성능이 크게 향상됨을 보여준다.
