본 논문은 신경망 언어 모델을 이용한 코드 생성에서 반복 문제를 해결하기 위해, 기존 연구에서 주로 다루던 내용 반복(content repetition)이 아닌 구조적 반복(structural repetition) 문제에 초점을 맞추고 있습니다. 구조적 반복은 다양한 패턴으로 나타나지만 고정된 구조를 가지는 코드 반복을 의미하며, 문법적으로 반영될 수 있습니다. 본 논문에서는 구조적 반복을 공식적으로 정의하고, 문법 기반 반복 패널티(Repetition Penalization based on Grammar, RPG)라는 효율적인 디코딩 방법을 제안합니다. RPG는 문법 규칙을 활용하여 코드 생성 중 반복 문제를 식별하고, 반복에 기여하는 중요 토큰의 가능성을 전략적으로 감소시켜 코드 생성에서 반복을 완화합니다. 또한, 코드 생성에서 반복 문제 완화 방식을 종합적으로 평가하기 위한 새로운 데이터셋 CodeRepetEval을 구축했습니다. 실험 결과, RPG는 CodeRepetEval 데이터셋뿐만 아니라 HumanEval 및 MBPP 벤치마크에서도 기존 최고 성능 기준 모델을 상당히 능가하며, 반복을 효과적으로 줄이고 생성된 코드의 품질을 향상시키는 것으로 나타났습니다.
