본 논문은 자연어 요구사항으로부터 코드를 생성하는 언어 모델(LM)의 코드 생성 능력 평가에서 다양성을 중요한 기준으로 제시합니다. 기존 연구에서 간과되었던 생성 코드의 다양성 평가를 위해, 코드 간 유사성을 고려한 다양한 지표를 제시하고, LM의 코드 이해 및 추론 능력을 활용한 코드 클러스터링 방법을 도입하여 모델 생성 솔루션의 알고리즘 개수를 나타내는 지표를 제시합니다. 모델 크기, 온도, 지시어 튜닝, 문제 복잡성 등 다양한 요인이 코드 다양성에 미치는 영향을 정량적으로 분석하고, 모델 생성 솔루션이 인간 작성 솔루션에 비해 알고리즘 다양성이 낮다는 것을 보여줍니다. 또한, 서로 다른 모델의 솔루션을 결합하거나 샘플링 온도를 1.0 이상으로 높이는 방법을 통해 코드 다양성을 향상시킬 수 있음을 제시하며, 이를 위해 코드와 데이터셋을 공개합니다.
