SCOPE: Compress Mathematical Reasoning Steps for Efficient Automated Process Annotation
Created by
Haebom
저자
Huimin Xu, Xin Mao, Feng-Lin Li, Xiaobao Wu, Wang Chen, Wei Zhang, Anh Tuan Luu
개요
본 논문은 수학적 추론에서 유망한 결과를 보여주는 Process Reward Models (PRMs)의 어노테이션 비용을 줄이기 위한 새로운 방법인 Step COmpression for Process Estimation (SCOPE)를 제안한다. SCOPE는 자연어 추론 단계를 코드로 변환하고 Abstract Syntax Tree를 통해 정규화한 후, 동등한 단계들을 병합하여 접두사 트리를 구성한다. 기존의 시뮬레이션 기반 방법과 달리, SCOPE는 각 root-to-leaf 경로를 훈련 샘플로 사용하여 복잡도를 $O(NMK)$에서 $O(N)$으로 줄인다. 이를 통해 기존 방법 대비 5%의 계산 자원으로 196K개의 샘플을 포함하는 대규모 데이터셋을 구축하고, Best-of-N 전략과 ProcessBench에서 기존 자동 어노테이션 방법보다 우수한 성능을 보임을 실험적으로 증명한다.
시사점, 한계점
•
시사점:
◦
PRMs의 어노테이션 비용을 획기적으로 절감하는 SCOPE 기법 제시
◦
기존 시뮬레이션 기반 방법보다 효율적인 대규모 데이터셋 구축 가능
◦
Best-of-N 전략과 ProcessBench에서 기존 방법 대비 우수한 성능 달성
•
한계점:
◦
SCOPE의 성능 향상이 특정 데이터셋과 과제에 국한될 가능성 존재
◦
코드로 변환 및 Abstract Syntax Tree를 통한 정규화 과정의 일반화 가능성에 대한 추가 연구 필요
