본 논문은 대규모 언어 모델(LLM)을 이용한 자동 코드 생성에서 발생하는 비구문적 오류에 초점을 맞추고 있습니다. 기존 연구들이 주로 독립적인 함수 생성에서의 오류에 집중한 것과 달리, 본 연구는 외부 종속성과 같은 소프트웨어 컨텍스트를 고려하여 실제 소프트웨어 개발 상황에서 발생하는 오류를 분석했습니다. LLM의 코드 명세 오해로 인해 발생하는 7가지 비구문적 오류 유형을 제시하며, 그 중 4가지는 기존 연구에서 발견되지 않은 새로운 유형입니다. 각 오류 유형에 대한 6가지 원인을 제시하고, GPT-4와 ReAct 프롬프팅 기법을 이용하여 LLM이 스스로 오류 및 그 원인을 식별하는 효과성을 평가하여 최대 0.65의 F1 점수를 달성했습니다. 이러한 결과는 LLM 기반 코드 생성의 질적 향상에 기여할 수 있는 귀중한 통찰력을 제공합니다.
