대규모 언어 모델(LLM)은 긴 컨텍스트 처리 시 이전 컨텍스트의 관련 없는 정보가 추론 및 기억 회상을 방해하는 선제적 간섭으로 인해 성능 저하를 겪습니다. 본 논문은 LLM의 기능을 향상시키기 위한 외부 메모리 시스템에 초점을 맞춘 기존 연구와는 달리, LLM에 능동적 컨텍스트 관리(ACM) 도구를 제공하여 내부 작업 메모리를 능동적으로 조형하는 접근 방식을 제안합니다. Sculptor라는 프레임워크를 통해 LLM에 (1) 컨텍스트 분할, (2) 요약, 숨기기 및 복원, (3) 정밀 검색의 세 가지 범주의 도구를 제공합니다. 이 접근 방식은 LLM이 주의를 능동적으로 관리하고 작업 메모리를 관리할 수 있게 합니다. 다양한 장기간 컨텍스트 벤치마크에 대한 실험 평가 결과, Sculptor는 특정 훈련 없이도 LLM의 고유한 도구 호출 및 지침 따르기 기능을 활용하여 성능을 크게 향상시켰습니다. 또한, 이러한 전략을 최적화하기 위해, 대화 기록을 능동적으로 수정하는 에이전트의 훈련을 발전시키는 새로운 동적 컨텍스트 인식 강화 학습(RL) 접근 방식을 도입했습니다. 능동적 컨텍스트 관리를 통해 Sculptor는 선제적 간섭을 완화할 뿐만 아니라 다양한 장기간 컨텍스트 작업에서 더 신뢰할 수 있는 추론을 위한 인지적 기반을 제공합니다. 이는 단순히 더 큰 토큰 창이 아닌 명시적인 컨텍스트 제어 전략이 규모에 맞는 견고함의 핵심임을 강조합니다.
