SecureVibeBench: Evaluating Secure Coding Capabilities of Code Agents with Realistic Vulnerability Scenarios

Created by

Haebom

저자

Junkai Chen, Huihui Huang, Yunbo Lyu, Junwen An, Jieke Shi, Chengran Yang, Ting Zhang, Haoye Tian, Yikun Li, Zhenhao Li, Xin Zhou, Xing Hu, David Lo

💡 개요

본 연구는 LLM 기반 코드 에이전트가 생성하는 코드의 보안 취약점을 평가하기 위해 현실적인 취약점 시나리오를 포함하는 SecureVibeBench라는 새로운 벤치마크를 제안합니다. 이 벤치마크는 실제 오픈소스 프로젝트에서 파생된 105개의 C/C++ 보안 코딩 작업을 포함하며, 다중 파일 편집, 실제 취약점 맥락, 기능 및 보안 테스트를 결합한 포괄적인 평가를 제공합니다. 현재 인기 있는 코드 에이전트들의 평가 결과, 가장 우수한 에이전트조차도 23.8%의 정확하고 안전한 솔루션만을 생성하는 데 그쳐, 코드 에이전트의 보안 코딩 능력이 아직 부족함을 보여줍니다.

🔑 시사점 및 한계

•

LLM 기반 코드 에이전트의 실제적인 보안 코딩 능력을 객관적으로 평가할 수 있는 새로운 벤치마크를 제공했습니다.

•

기존 벤치마크의 한계를 극복하고 인간 개발자의 취약점 도입 방식을 반영하여 코드 에이전트와 인간 간의 공정한 비교를 가능하게 합니다.

•

현재 코드 에이전트들의 보안 코딩 능력이 현저히 낮으며, 정확성과 보안성을 동시에 만족시키는 솔루션 생성에 어려움을 겪고 있음을 보여줍니다.

•

벤치마크는 C/C++ 언어에 한정되어 있으며, 실제 소프트웨어 개발에서 발생하는 모든 유형의 취약점을 다루지 못할 수 있습니다. 향후 더 다양한 언어와 복잡한 취약점 시나리오를 포함하는 확장이 필요합니다.

PDF 보기

Made with Slashpage