Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Complexity Trap: Simple Observation Masking Is as Efficient as LLM Summarization for Agent Context Management

Created by
  • Haebom

저자

Tobias Lindenbauer, Igor Slinko, Ludwig Felder, Egor Bogomolov, Yaroslav Zharov

개요

본 논문은 대규모 언어 모델(LLM) 기반 소프트웨어 엔지니어링(SWE) 에이전트의 긴 문맥 이력으로 인한 높은 비용 문제를 해결하기 위해, 기존의 LLM 기반 요약 방법과 단순 관찰 마스킹 전략을 비교 분석했습니다. 다양한 모델 구성(5가지)을 사용한 실험 결과, 관찰 마스킹 전략이 LLM 요약 방법과 비슷하거나 약간 더 높은 성공률을 유지하면서 비용을 절반으로 줄이는 것을 확인했습니다. 예를 들어 Qwen3-Coder 480B 모델에서 관찰 마스킹은 성공률을 53.8%에서 54.8%로 향상시켰습니다. 이는 SWE 에이전트의 문맥 관리에서 가장 효과적이고 효율적인 방법이 가장 단순한 방법일 수 있음을 시사합니다. 본 논문은 재현성을 위해 코드와 데이터를 공개합니다.

시사점, 한계점

시사점: LLM 기반 SWE 에이전트의 context management에서 단순 관찰 마스킹 전략이 LLM 요약보다 효율적이고 비용 효과적일 수 있음을 보여줍니다. 복잡한 요약 기법보다 간단한 방법이 더 나은 성능을 낼 수 있다는 것을 시사합니다.
한계점: 본 연구는 특정 SWE 에이전트(SWE-agent)와 벤치마크(SWE-bench Verified)에 국한되어 있으며, 다른 에이전트나 벤치마크에 대한 일반화 가능성은 제한적입니다. 다양한 LLM 모델과 작업에 대한 추가 연구가 필요합니다.
👍