본 논문은 대규모 언어 모델(LLM)의 코드 생성 성능 향상을 위한 새로운 프로그래밍 워크플로우인 LPW(LLM Programming Workflow)를 제안합니다. LPW는 코드 생성과 후속 수정을 위한 구조화된 2단계 워크플로우(솔루션 생성 단계와 코드 구현 단계)를 사용합니다. 솔루션 생성 단계에서는 솔루션 계획을 수립하고 가시적 테스트를 통해 검증하여 의도된 자연어 솔루션을 명세화합니다. 코드 구현 단계에서는 솔루션 계획과 검증 결과를 바탕으로 초기 코드를 작성합니다. 생성된 코드가 가시적 테스트를 통과하지 못하면, 계획 검증 결과를 이용하여 버그 수정 과정을 지속적으로 안내합니다. 다양한 기존 LLM을 사용한 최첨단 방법들과 비교하여, LPW는 기존 벤치마크에서 Pass@1 정확도를 최대 16.4% 향상시켰습니다. GPT-4o를 기반으로 HumanEval, MBPP, LiveCode, APPS, CodeContest에서 새로운 최고 성능을 달성했습니다 (각각 98.2%, 84.8%, 59.3%, 62.6%, 34.7%의 Pass@1 정확도). 코드는 공개적으로 제공됩니다.
