본 논문은 대규모 언어 모델(LLM)을 이용한 자동 코드 생성에서 코드 복잡성과 생성 성공률 간의 관계를 탐구한다. 다양한 복잡도 측정 지표를 사용하여 실증 분석을 수행하고, 로지스틱 회귀 모델을 통해 코드 정확도 예측에 가장 효과적인 지표를 식별한다. 이를 바탕으로 이전 실패 결과의 복잡도 지표를 활용하여 LLM이 정확한 코드를 생성하도록 유도하는 반복적 피드백 방법을 제안한다. HumanEval, MBPP, LeetCode, BigCodeBench 등 다양한 벤치마크와 GPT-4, GPT-3.5 Turbo, Llama 3.1, GPT-Neo 3 등 여러 LLM에 대해 제안된 방법을 검증하고, 제로샷 생성 및 실행 기반 피드백 방법과 비교 분석한다. 실험 결과, 특히 GPT-3.5 Turbo와 같은 작은 LLM에서 성능 향상을 보이며, HumanEval 데이터셋에서 Pass@1이 기준선 대비 35.71% 증가하는 것을 확인한다. BigCodeBench를 활용한 추가 실험과 Reflexion 코드 생성 에이전트와의 통합을 통해서도 성능 향상을 확인하였다.
