본 논문은 최첨단 코드 생성 모델(CodeGemma, CodeLlama, CodeQwen1.5, GraniteCode, StarCoder2)의 다국어 코드 주석 생성 성능을 평가한 연구입니다. 중국어, 네덜란드어, 영어, 그리스어, 폴란드어 5개 언어를 대상으로 12,500개의 코드 주석 생성 데이터셋을 구축하고 공개하였습니다. 오픈 코딩 연구를 통해 모델 생성 코드 주석의 26가지 오류 유형을 분류하고, 언어 간 응집성, 정보성, 구문 준수의 차이를 분석했습니다. 또한, 기존 평가 지표의 신뢰성을 평가하여 정확한 주석과 무작위 노이즈를 구분하는 데 어려움을 발견하였으며, 전문가 평가에서도 정확한 주석과 잘못된 주석의 점수가 상당히 중첩되는 현상을 확인했습니다. 이는 기존 지표가 생성된 주석을 평가하는 데 효과적이지 않을 수 있음을 시사합니다.
