RPM-MCTS: Knowledge-Retrieval as Process Reward Model with Monte Carlo Tree Search for Code Generation
Created by
Haebom
Category
Empty
저자
Yuanyuan Lin, Xiangyu Ouyang, Teng Zhang, Kaixin Sui
RPM-MCTS: 지식 검색 기반 프로세스 보상 모델을 활용한 몬테카를로 트리 탐색
개요
RPM-MCTS는 대규모 언어 모델의 코드 생성 능력을 향상시키기 위해 지식 검색 기반 프로세스 보상 모델을 활용하는 효과적인 방법입니다. 중간 알고리즘 단계를 평가하기 위한 복잡한 모델 훈련을 피하기 위해 지식 기반 검색을 사용하며, 몬테카를로 트리 탐색(MCTS)을 기반으로 합니다. 확장 단계에서 중복 노드를 제거하기 위해 유사성 필터링을 사용하여 추론 경로의 다양성을 확보합니다. 샌드박스 실행 피드백을 활용하여 생성 과정에서 오류가 있는 알고리즘 단계를 찾아내어 시기적절하고 표적화된 수정을 가능하게 합니다.
시사점, 한계점
•
시사점:
◦
지식 기반 검색을 통해 프로세스 보상 모델의 복잡한 훈련을 피함.
◦
유사성 필터링을 통해 추론 경로의 다양성 확보.
◦
샌드박스 실행 피드백을 활용하여 오류 단계의 시기 적절한 수정.
◦
현존하는 최첨단 방법보다 우수한 성능 달성 및 토큰 소비 약 15% 감소.
◦
RPM-MCTS로 구성된 데이터를 사용하여 기본 모델의 전체 미세 조정 시 코드 생성 능력 향상.
•
한계점:
◦
논문에서 구체적인 한계점은 명시되지 않음. (논문 요약에서 언급된 내용만으로는 한계점을 파악하기 어려움.)
