SecureFalcon: Are We There Yet in Automated Software Vulnerability Detection with LLMs?
Created by
- Haebom
Category
Empty
저자
Mohamed Amine Ferrag, Ammar Battah, Norbert Tihanyi, Ridhi Jain, Diana Maimut, Fatima Alwahedi, Thierry Lestable, Narinderjit Singh Thandi, Abdechakour Mechri, Merouane Debbah, Lucas C. Cordeiro
개요
본 논문은 소프트웨어 취약성 검출을 위한 새로운 머신러닝 모델 SecureFalcon을 제안합니다. 기존의 정적 분석이나 경계 모델 검증의 한계를 극복하기 위해, Falcon-40B 모델을 기반으로 1억 2천 1백만 개의 매개변수만을 사용하는 경량화된 모델 아키텍처를 설계했습니다. FormAI 데이터셋과 여러 공개 데이터셋(SySeVR, Draper VDISC, Bigvul, Diversevul, SARD Juliet, ReVeal)을 결합한 FalconVulnDB를 사용하여 훈련되었으며, CWE 상위 25개의 위험한 취약성을 중점적으로 다룹니다. SecureFalcon은 이진 분류에서 94%, 다중 분류에서 최대 92%의 정확도를 달성하며, CPU 기반 실시간 추론이 가능하다는 장점을 가지고 있습니다. BERT, RoBERTa, CodeBERT 등 기존 모델 및 전통적인 머신러닝 알고리즘보다 우수한 성능을 보여줍니다.
시사점, 한계점
•
시사점:
◦
경량화된 머신러닝 모델을 이용하여 소프트웨어 취약성 검출의 정확도와 속도를 크게 향상시킬 수 있음을 보여줌.
◦
실시간 코드 완성 프레임워크에 통합 가능한 효율적인 모델을 제시함.
◦
기존의 정적 분석 및 형식적 검증 방법의 한계를 극복하는 대안을 제시함.
◦
다양한 공개 데이터셋을 활용하여 실제 환경에 적용 가능성을 높임.
•
한계점:
◦
사용된 데이터셋의 범위와 다양성에 따라 성능이 제한될 수 있음.
◦
실제 소프트웨어 개발 환경에서의 일반화 성능에 대한 추가적인 검증이 필요함.
◦
특정 유형의 취약성에 대한 검출 성능이 다른 유형에 비해 상대적으로 낮을 수 있음.
◦
새로운 취약성 유형에 대한 적응성에 대한 추가 연구가 필요함.
