Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning

작성자

Haebom

카테고리

Empty

저자

Jingjing Wang, Xiwen Chen, Wenhui Zhu, Huayu Li, Zhengxiao He, Feiyang Cai, Ana S. Carreon-Rascon, Xuanzhao Dong, Feng Luo

💡 개요

LLM 기반 코딩 에이전트는 코드 저장소 파일을 읽는 데 상당한 토큰 예산을 사용하지만, 이 중 많은 부분이 실제 작업과 관련이 없습니다. 기존의 학습 기반 프루너는 단일 목표 시퀀스 레이블러를 사용하여 코드 관련성을 하나의 점수로 압축하는데, 이는 다양한 코드 관련성 패턴을 하나의 모델링 병목으로 만들 수 있습니다. 본 논문은 이러한 한계를 극복하기 위해 코드 관련성을 의미론적 증거와 의존성 지원이라는 두 가지 해석 가능한 품질 차원으로 분해하고, 각 차원을 전용 CRF로 모델링하는 LaMR (Latent Multi-Rubric)이라는 구조화된 프루닝 프레임워크를 제안합니다.

🔑 시사점 및 한계

•

LaMR은 코드 관련성을 의미론적 스팬과 구조적 지원 라인 등 이질적인 유지 패턴을 분리하여 더 효과적으로 모델링할 수 있습니다.

•

AST 기반 프로그램 분석을 통해 추가적인 주석 비용 없이 다중 루브릭 레이블을 생성하고 기존 학습 데이터를 디노이징함으로써 프루닝 성능을 향상시킵니다.

•

LaMR은 기존의 단일 목표 프루너보다 뛰어나며, 토큰 절감과 정확도 향상 측면에서 유의미한 성능 개선을 보입니다.

•

일부 경우 성능 저하가 발생할 수 있으며, 특히 복잡하거나 예측하기 어려운 코드 구조에 대한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage