Accuracy and Efficiency Trade-Offs in LLM-Based Malware Detection and Explanation: A Comparative Study of Parameter Tuning vs. Full Fine-Tuning
Created by
Haebom
Category
Empty
저자
Stephen C. Gravereaux, Sheikh Rabiul Islam
개요
LoRA 기법을 활용하여 미세 조정된 LLM이 악성 코드 분류에 대한 인간이 이해할 수 있는 결정 및 설명을 생성하는 데 있어 완전 미세 조정된 모델의 성능을 근사할 수 있는지 조사했습니다. BLEU, ROUGE, 의미론적 유사성 메트릭을 사용하여 5가지 LoRA 구성과 완전 미세 조정된 기준선에 대한 설명 품질을 벤치마킹하는 평가 프레임워크를 개발했습니다. 전체 미세 조정이 가장 높은 점수를 얻었지만, 중간 범위의 LoRA 모델은 두 가지 메트릭에서 전체 미세 조정을 초과하는 경쟁력 있는 성능을 제공하면서 모델 크기를 약 81% 줄이고 학습 시간을 80% 이상 단축했습니다.
시사점, 한계점
•
시사점:
◦
LoRA는 설명 품질을 저하시키지 않으면서 리소스 효율적인 악성 코드 탐지 시스템 배포를 가능하게 합니다.
◦
LoRA는 모델 크기와 학습 시간을 크게 줄입니다.
◦
LoRA를 사용하면 악성 코드 분류에 대한 투명성, 분석가 신뢰도, 운영 확장성이 향상됩니다.
•
한계점:
◦
완전 미세 조정된 모델이 LoRA 변형보다 BLEU 및 ROUGE 점수에서 최대 10% 더 높습니다.
