Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Code Copycat Conundrum: Demystifying Repetition in LLM-based Code Generation

Created by
  • Haebom

저자

Mingwei Liu, Juntao Li, Ying Wang, Xueying Du, Zuoyu Ou, Qiuyuan Chen, Bingxu An, Zhao Wei, Yong Xu, Fangming Zou, Xin Peng, Yiling Lou

개요

본 논문은 최신 코드 생성 대규모 언어 모델(LLM)이 생성하는 코드의 반복 문제를 다룬다. 19개의 최첨단 코드 LLM을 세 가지 벤치마크를 사용하여 실증적으로 분석하여 코드 반복이 광범위하게 나타나며 문자, 문장, 블록 수준에서 다양한 수준과 정도로 발생함을 밝혔다. 20가지 반복 패턴 분류 체계를 제시하고, 생성된 코드의 반복을 탐지하고 완화하기 위한 규칙 기반 기법인 DeRep을 제안한다. 오픈소스 벤치마크와 산업 환경에서 DeRep을 평가한 결과, 기존 방법보다 반복 감소 및 코드 품질 향상에 있어서 상당한 성능 향상을 보였다고 보고한다.

시사점, 한계점

시사점:
코드 생성 LLM의 코드 반복 문제에 대한 최초의 실증적 연구 결과 제시.
코드 반복의 다양한 패턴과 수준을 밝히고, 이를 완화하기 위한 DeRep 기법 제안.
DeRep을 통해 반복 감소 및 코드 품질 향상을 실험적으로 검증.
기존 반복 완화 기법의 성능 향상에 DeRep 통합 가능성 제시.
한계점:
DeRep이 규칙 기반이므로 새로운 반복 패턴에 대한 적응성이 제한될 수 있음.
평가에 사용된 벤치마크의 일반화 가능성에 대한 추가적인 검토 필요.
산업 환경에서의 평가 규모 및 세부 내용에 대한 추가적인 정보 필요.
👍