본 논문은 대규모 언어 모델(LLM)이 코드 생성에는 능숙하지만, 정교한 추론을 필요로 하는 복잡한 프로그래밍 작업에는 어려움을 겪는다는 문제점을 다룹니다. 이를 해결하기 위해 기존의 프로세스 감독 방식(보상 모델 학습)은 비용이 많이 드는 훈련 데이터를 필요로 하고 보상 정렬 오류 문제가 발생하며, 결과 감독 방식은 조정된 중간 단계가 필요한 복잡한 작업에는 실패합니다. 본 논문에서는 실행 가능한 검증을 활용하여 프로세스 감독과 결과 감독을 통합하는 결과 개선 프로세스 감독(ORPS)을 제시합니다. 트리 구조 검색 프레임워크를 통해 전략적 대안을 생성하고, 실행 메트릭을 프로파일링하며, 런타임 피드백과 추론을 통합하는 자기 비판 메커니즘을 통해 후보를 평가합니다. 5개 모델과 3개 벤치마크에 대한 실험 결과, 정확도가 26.9% 향상되고 코드 효율성이 42.2% 향상되는 등 일관된 성과 향상을 보였습니다. ORPS는 LLM이 코드 생성에서 지역적 최적점을 극복할 수 있도록 하여, 검증 가능한 결과와 구조적 추론을 결합하여 복잡한 문제에 대처하는 유망한 방향을 제시합니다. 소스 코드는 https://github.com/zhuohaoyu/ORPS 에서 공개됩니다.
