ProcBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents

작성자

Haebom

카테고리

Empty

저자

Jiawei He, Jie Jia, Chenbo Liu, Chaoyi Xue, Yapeng Song, Xikai Yang, Dong Sun

💡 개요

기존 LLM 코딩 에이전트 평가는 최종 결과에만 초점을 맞춰 실행 과정의 결함을 놓치는 한계가 있습니다. 본 논문은 실행 과정의 재현 가능한 결함을 분류하고 표준화된 증거를 통해 평가하는 ProcBench를 제안합니다. ProcBench는 실행 과정의 해석 가능성, 중단 가능성, 수정 가능성, 되돌림 가능성, 권한 반환 능력 등을 포함하는 '제어 보존'을 평가 지표로 사용하여, 기존 결과 기반 평가로는 발견하기 어려운 실행 품질의 미묘한 차이를 밝혀냅니다.

🔑 시사점 및 한계

•

LLM 코딩 에이전트의 실행 과정 품질을 정량적으로 평가할 수 있는 새로운 벤치마크를 제시합니다.

•

최종 결과뿐만 아니라 실행 과정의 결함과 제어 보존 측면을 평가하여 LLM의 신뢰성과 안정성을 높이는 데 기여할 수 있습니다.

•

벤치마크의 구성 및 결함 분류의 일반화 가능성과 다양한 에이전트 아키텍처에 대한 적용성을 더욱 확장하는 연구가 필요합니다.

PDF 보기

Made with Slashpage