Sign In

Retrieval-Augmented Few-Shot Prompting Versus Fine-Tuning for Code Vulnerability Detection

Created by
  • Haebom
Category
Empty

저자

Fouad Trad, Ali Chehab

개요

본 논문은 대규모 언어 모델(LLM)을 활용한 코드 취약점 탐지에서 Few-shot 프롬프팅의 효과를 높이기 위해 검색 증강 프롬프팅 전략을 연구합니다. 특히, 복잡한 도메인에서 in-context 예시의 질이 중요한 영향을 미친다는 점에 주목하여, 의미적으로 유사한 예시를 검색하여 활용하는 방법을 제안합니다. Gemini-1.5-Flash 모델을 사용하여, 무작위 예시를 사용한 Few-shot 프롬프팅, 의미적 유사 예시를 사용한 검색 증강 프롬프팅, 그리고 모델 추론 없이 검색된 예시를 기반으로 레이블을 할당하는 검색 기반 레이블링의 세 가지 접근 방식을 비교 평가했습니다. 연구 결과, 검색 증강 프롬프팅이 다른 전략들을 능가했으며, 특히 20-shot에서 F1 점수 74.05%, 부분 일치 정확도 83.90%를 달성했습니다. 또한, 제로-샷 프롬프팅 및 Gemini를 포함한 파인 튜닝 모델과 비교하여 검색 증강 프롬프팅의 성능 우위를 확인했습니다.

시사점, 한계점

시사점:
코드 취약점 탐지에서 검색 증강 프롬프팅의 효과를 입증했습니다.
Few-shot 프롬프팅이 파인 튜닝 없이도 높은 성능을 달성할 수 있음을 보여주었습니다.
제로-샷 프롬프팅과 파인 튜닝된 Gemini 모델보다 우수한 성능을 보였습니다.
파인 튜닝에 필요한 시간과 비용을 절감하면서도 성능을 향상시킬 수 있는 방법을 제시했습니다.
한계점:
CodeBERT와 같은 특정 모델의 파인 튜닝보다는 낮은 성능을 보였습니다.
검색 증강 프롬프팅의 성능은 검색된 예시의 품질에 크게 의존합니다.
본 연구는 Gemini-1.5-Flash 모델에 국한되어 있으며, 다른 LLM에서의 일반화 가능성은 추가 연구가 필요합니다.
👍