Structure-Aware Corpus Construction and User-Perception-Aligned Metrics for Large-Language-Model Code Completion
Created by
Haebom
저자
Dengfeng Liu, Jucai Zhai, Xiaoguang Jiang, Ziqun Li, Qianjin Yu, Feng Liu, Rui Ye, Huang Liu, Zhiguo Yang, Yongsheng Du, Fang Tan
개요
본 논문은 대규모 언어 모델 기반 코드 완성 기술의 효율성 향상에도 불구하고, 기존 평가 지표와 사용자 인식 간의 격차를 해소하기 위해 확률적 모델링 관점에서 새로운 평가 지표 LCP와 ROUGE-LCP를 제안합니다. 또한, 저장소 수준 코드 완성 시나리오에서 LLMs의 구조적 의미 모델링 및 모듈 간 의존성 정보 부족 문제를 해결하기 위해, 구조 보존 및 의미 재정렬 코드 그래프(SPSR-Graph) 기반의 데이터 처리 방법을 제안합니다. 이론적 분석과 실험적 검증을 통해 제안된 평가 지표의 사용자 인식 일관성 및 데이터 처리 방법의 모델 성능 향상 효과를 입증합니다.
