PBT-Bench: Benchmarking AI Agents on Property-Based Testing

작성자

Haebom

카테고리

Empty

저자

Lucas Jing, Xinqi Wang, Liao Zhang, Simon S. Du

💡 개요

본 논문은 기존 코드 벤치마크가 포착하지 못하는 AI 에이전트의 속성 기반 테스트(Property-Based Testing, PBT) 능력을 측정하기 위한 PBT-Bench를 제안한다. PBT-Bench는 실제 Python 라이브러리에서 파생된 100개의 PBT 문제로 구성되어 있으며, 문서 기반의 의미론적 불변성을 도출하고 이를 위반하는 입력을 생성하는 에이전트의 능력을 평가한다. 다양한 LLM과 프롬프팅 전략을 평가한 결과, PBT 중심 프롬프트가 전반적으로 높은 버그 발견율을 보였으며, 명시적인 Hypothesis 스캐폴딩이 중간 성능 모델의 성능을 크게 향상시키는 것으로 나타났다.

🔑 시사점 및 한계

•

AI 에이전트의 문서 이해 및 추론 능력을 평가하기 위한 새로운 벤치마크의 필요성을 강조한다.

•

명시적인 지침(Hypothesis 스캐폴딩)이 AI 에이전트의 속성 기반 테스트 성능을 효과적으로 향상시킬 수 있음을 보여준다.

•

가장 어려운 속성 기반 테스트 문제는 특정 모델 아키텍처에 따라 성능 차이가 커서, 단일 모델로 모든 문제를 해결하기 어렵다는 한계가 있다.

•

향후 연구에서는 모델별 강점과 약점을 고려한 맞춤형 프롬프트 엔지니어링 또는 모델 아키텍처 개선 방안이 필요할 수 있다.

•

본 연구에서 사용된 벤치마크와 평가 코드는 관련 연구 발전에 기여할 것으로 기대된다.

PDF 보기

Made with Slashpage