본 논문은 대규모 언어 모델(LLM)이 생성한 코드의 보안 취약성 평가를 위한 새로운 벤치마크, SafeGenBench를 제안합니다. SafeGenBench는 다양한 소프트웨어 개발 시나리오와 취약성 유형을 포함하며, 정적 애플리케이션 보안 테스트(SAST)와 LLM 기반 판단을 활용한 자동 평가 프레임워크를 통해 LLM이 생성한 코드의 보안 취약성을 평가합니다. 최신 LLM들을 SafeGenBench로 평가한 결과, 취약성 없는 코드를 생성하는 능력에 상당한 부족함이 있음을 밝혔습니다. 이는 LLM의 안전한 코드 생성 성능 향상을 위한 시급한 과제와 실용적인 통찰력을 제시합니다. 데이터와 코드는 곧 공개될 예정입니다.
시사점, 한계점
•
시사점: LLM의 코드 생성 능력 평가에 있어 보안 측면의 중요성을 강조하고, LLM 기반 코드 생성의 보안 취약성 문제를 체계적으로 평가할 수 있는 벤치마크와 프레임워크를 제공합니다. LLM의 안전한 코드 생성 성능 향상을 위한 연구 방향을 제시합니다.
•
한계점: 데이터와 코드가 아직 공개되지 않았습니다. 평가에 사용된 LLM의 종류와 버전에 대한 구체적인 정보가 부족합니다. 벤치마크의 포괄성과 일반화 가능성에 대한 추가적인 검증이 필요합니다.
