Poster: Rethinking Security in LLM Code Generation through Real-World Risk Scenarios
작성자
카테고리
Empty
저자
Lixun Ma, Ruolong Ma, Bei Wang, Feng Wei, Zhenguang Liu, Lorenzo Cavallaro, Wentao Chen
💡 개요
본 논문은 LLM 기반 코드 생성 시 현실적인 개발 워크플로우에서의 보안 문제를 다룹니다. 모호한 요구사항, 운영 맥락 미지정, 보안-기능 충돌이라는 세 가지 대표적인 위험 시나리오를 기반으로 2,700개의 테스트 케이스로 구성된 대규모 벤치마크를 구축했습니다. 8개의 최신 LLM을 평가한 결과, 모든 모델이 평균 56% 이상의 취약점을 보였으며, 보안 인식 프롬프트 사용 시 최대 45%의 개선 효과를 확인했습니다.
🔑 시사점 및 한계
•
LLM 기반 코드 생성 시 현실 세계의 복잡하고 불완전한 요구사항으로 인한 보안 취약점 발생 가능성이 매우 높습니다.
•
보안 인식 프롬프트 기법을 통해 LLM 코드 생성의 보안성을 효과적으로 향상시킬 수 있습니다.
•
구축된 벤치마크는 LLM 코드 생성 보안 취약점 평가를 위한 중요한 도구로 활용될 수 있습니다.
•
본 연구에서 제시된 벤치마크 및 평가 결과가 모든 LLM 코드 생성 시나리오를 포괄하지 못할 수 있으며, 더 넓은 범위의 위험 시나리오와 LLM 모델에 대한 추가 연구가 필요합니다.
