본 논문은 코드 생성 대규모 언어 모델(LLMs)의 성능 향상을 위해 강화 학습과 직접 선호도 최적화를 이용한 미세 조정 기법을 연구합니다. 기존의 보상 모델 학습 데이터를 심볼릭 실행 기법을 활용하여 개선함으로써, 더욱 포괄적이고 객관적인 데이터를 생성합니다. 심볼릭 실행을 통해 생성된 맞춤형 데이터셋으로 보상 모델을 미세 조정하여, 기존 CodeRL 기준 대비 코드 품질 평가 성능을 향상시켰으며, 개선된 보상 모델 피드백을 통해 훈련된 코드 생성 LLMs는 CodeRL 벤치마크와 유사한 결과를 달성했습니다.
