본 논문은 대규모 언어 모델(LLM)이 생성한 코드의 보안 취약성을 평가하기 위한 새로운 벤치마크인 SafeGenBench를 제시합니다. SafeGenBench는 다양한 소프트웨어 개발 시나리오와 취약성 유형을 포함하며, 정적 애플리케이션 보안 테스트(SAST)와 LLM 기반 판단을 활용한 자동 평가 프레임워크를 통해 LLM이 생성한 코드의 보안 취약성을 평가합니다. 실험 결과, 최첨단 LLM들도 취약성 없는 코드를 생성하는 데 상당한 어려움을 겪는다는 것을 보여주며, LLM의 안전한 코드 생성 성능 향상을 위한 과제와 해결 방안을 제시합니다. 데이터와 코드는 곧 공개될 예정입니다.
시사점, 한계점
•
시사점: LLM 기반 코드 생성의 보안 취약성 문제를 체계적으로 평가할 수 있는 벤치마크(SafeGenBench) 및 평가 프레임워크 제공. LLM의 코드 생성 능력 향상을 위한 연구 방향 제시. LLM 생성 코드의 보안 취약성에 대한 인식 제고.
•
한계점: 데이터와 코드가 아직 공개되지 않음. 평가에 사용된 LLM의 종류 및 버전에 대한 자세한 정보 부족. SafeGenBench의 포괄성 및 일반화 가능성에 대한 추가 검증 필요.
