본 논문은 사이버 보안 목적으로 사용되는 대규모 언어 모델(LLM)의 효율성 및 효과성 향상을 위해 압축 및 미세 조정 기법을 분석합니다. 특히, 선형 프로브(LPs)를 사용하여 미세 조정 전에 압축된 LLM의 성능을 조기에 예측하고, 계층 가지치기 압축 시 적절한 차단점을 설정하는 방법을 제시합니다. $LPASS$라는 방법론을 BERT와 Gemma 모델에 적용하여 MITRE의 상위 25개 가장 위험한 취약성 중 12개를 480,000개의 C/C++ 샘플에서 검출하는 실험을 수행했습니다. 실험 결과, LPs는 빠른 계산 시간(142.97초) 내에 정확도 손실 없이 계층의 33.3%72.2%를 제거할 수 있으며, 미세 조정 및 압축 후 모델의 효과를 3%8.68%의 오차로 조기에 예측할 수 있음을 보였습니다. $LPASS$ 기반 LLM은 최첨단 성능을 능가하며, 다중 클래스 취약성 탐지에서 86.9%의 정확도를 달성했습니다. 특히, $LPASS$ 기반 압축 Gemma 모델은 원본 모델보다 최대 1.6%의 F1-score 향상을 보이며, 학습 및 추론 시간을 각각 29.4%, 23.8%, 모델 크기를 42.98% 절감했습니다.
