본 논문은 대규모 언어 모델(LLM)이 생성하는 코드의 효율성 문제를 해결하기 위해, 실행 샌드박스로부터의 경험적 성능 피드백을 기반으로 LLM이 코드를 반복적으로 개선하는 폐쇄 루프 시스템인 새로운 테스트 시간 반복적 최적화 프레임워크를 제시한다. 감독 미세 조정(SFT), 직접적 선호도 최적화(DPO), 그룹 상대 정책 최적화(GRPO) 세 가지 훈련 전략을 탐구하며, Venus 데이터셋과 APPS 벤치마크를 사용한 실험을 통해 SFT와 DPO는 효율성 향상에 빠르게 포화되는 반면, 실행 피드백을 사용하는 강화 학습(RL) 기반의 GRPO는 코드 성능을 지속적으로 최적화하여 pass@1(47%에서 62%로)과 효율성 측면에서 사람의 제출물을 능가할 가능성(31%에서 45%로)을 크게 향상시킨다는 것을 보여준다. 결론적으로, 본 연구는 테스트 시간 코드 효율성 개선의 효과를 입증하고, LLM이 코드 효율성을 스스로 개선하도록 가르치는 데 있어 RL의 힘을 보여준다.
