Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study
Created by
Haebom
Category
Empty
저자
Andre Storhaug, Jingyue Li
개요
본 논문은 파라미터 효율적 미세 조정 (PEFT) 기법을 사용하여 대규모 언어 모델 (LLM)을 미세 조정하여 단위 테스트 생성을 연구합니다. LoRA, (IA)^3, 프롬프트 튜닝 등 다양한 PEFT 방법을 전체 미세 조정과 비교하여 13개의 모델 아키텍처 및 크기에 적용하여 벤치마크 데이터셋에서 단위 테스트 생성 성능을 평가했습니다.
시사점, 한계점
•
LoRA는 여러 경우에서 전체 미세 조정과 유사한 성능을 보입니다.
•
훈련 비용이 중요한 경우, 프롬프트 튜닝이 가장 비용 효율적인 접근 방식입니다 (특히 대형 모델의 경우).
•
미세 조정된 모델은 존재하지 않는 메서드를 호출하거나 유형 불일치가 있는 테스트를 생성하여 실행 가능한 테스트 케이스를 적게 생성할 수 있습니다.
•
실행 가능한 테스트의 경우, 미세 조정된 모델의 테스트 커버리지가 기준 모델보다 우수합니다.
