Vul-RAG: Enhancing LLM-based Vulnerability Detection via Knowledge-level RAG
Created by
Haebom
저자
Xueying Du, Geng Zheng, Kaixin Wang, Yi Zou, Yujia Wang, Wentai Deng, Jiayi Feng, Mingwei Liu, Bihuan Chen, Xin Peng, Tao Ma, Yiling Lou
개요
본 논문은 대규모 언어 모델(LLM)이 취약점 탐지에 유용하지만, 취약한 코드와 유사하지만 안전한 패치된 코드를 구분하는 데 어려움(정확도 0.06-0.14)을 보인다는 것을 밝혔습니다. LLM이 취약점의 근본 원인을 파악하는 데 어려움을 겪는다는 것을 보여주며, 이를 해결하기 위해 기존 취약점 및 패치로부터 추출한 다차원적인 취약점 지식으로 LLM을 강화하는 것을 제안합니다. 새로운 지식 수준 검색 증강 생성 프레임워크인 Vul-RAG를 설계하여 취약한 코드와 패치된 코드 식별의 정확도를 16%-24% 향상시켰습니다. 또한, Vul-RAG에 의해 생성된 취약점 지식은 수동 탐지 정확도(60%에서 77%로)를 향상시키는 고품질 설명을 제공하고, 최근 Linux 커널 릴리스에서 6개의 CVE가 할당된 10개의 기존 미지의 버그를 탐지하는 데에도 활용될 수 있습니다.
시사점, 한계점
•
시사점:
◦
LLM의 취약점 탐지 한계를 명확히 밝힘.
◦
취약점 지식을 활용한 LLM 성능 향상 가능성 제시 (Vul-RAG).
◦
Vul-RAG를 통해 수동 탐지 정확도 향상 및 미지의 버그 탐지 가능성 확인.
◦
고품질 취약점 설명 생성 가능성 제시.
•
한계점:
◦
Vul-RAG의 일반화 성능 및 다른 소프트웨어 시스템에 대한 적용 가능성에 대한 추가 연구 필요.
