본 논문은 오픈 소스 소프트웨어의 취약점 악용 위험 증가에 대응하기 위해, 맥락 인지 취약점 탐지(VD)를 위한 온-정책 LLM 강화 학습 프레임워크인 VULPO를 제안한다. 고정된 입력과 정적 선호 데이터에 의존하는 기존 VD 기술의 한계를 극복하고자, repository 수준의 종속성을 적응적으로 탐색하고, 취약점 맥락을 간과하는 함수 수준 벤치마크의 한계를 해결한다. ContextVul 데이터셋을 구축하여 repository 수준의 맥락 정보를 추출하고, 예측 정확도, 취약점 위치 정확도, 의미적 관련성을 결합한 다차원 보상 구조를 설계하여 포괄적인 맥락적 추론을 유도한다. 또한, VULPO는 레이블 및 샘플 수준 난이도 적응형 보상 스케일링을 통해 어려운 사례 탐구를 장려하고, 균형 잡힌 보상 분배를 유지한다. 실험 결과, VULPO-4B는 기존의 프롬프트 엔지니어링 및 오프-정책 최적화 기반 VD 모델보다 우수한 성능을 보였으며, Qwen3-4B 대비 F1 점수를 85% 향상시키고, DeepSeek-R1-0528과 유사한 성능을 달성했다.
