A Note on Code Quality Score: LLMs for Maintainable Large Codebases
Created by
Haebom
저자
Sherman Wong, Jalaj Bhandari, Leo Zhou Fan Yang, Xylan Xu, Yi Zhuang, Cem Cayiroglu, Payal Bhuptani, Sheela Yadawad, Hung Duong
개요
본 논문은 대규모 소프트웨어 시스템에서 다수의 엔지니어가 동시에 코드베이스 작업을 할 때 발생하는 코드 품질 문제를 자동으로 감지하고 실행 가능한 통찰력을 제공하는 코드 품질 점수(CQS) 시스템을 소개합니다. CQS 시스템은 SFT 및 오프라인 RL 방식으로 미세 조정된 두 개의 Llama3 모델을 기반으로 합니다. 하나는 코딩 모범 사례와 관련된 일반적인 코드 품질 문제를 감지하고, 다른 하나는 LLM이 생성한 코드 검토에 대한 유용한 비평을 제공합니다. 잘못된 응답이나 환각을 걸러내기 위해 수작업으로 만든 규칙을 계층화하여 사용자 경험을 향상시켰습니다. 오프라인 평가 결과, CQS 시스템은 유효한 문제를 식별하는 뛰어난 정밀도를 달성했습니다. 산업 규모 환경에서 개발자들에게 배포되어 일주일 단위로 60%의 사용자 유용성 비율을 달성하여 실제 환경에서의 효과를 입증했습니다. 본 논문에서는 CQS 시스템의 세부 정보와 LLM 미세 조정을 위한 교육 데이터를 만드는 데 대한 개발자 피드백 활용에 대한 내용을 제시합니다.