본 논문은 대규모 언어 모델(LLMs)의 연역적 추론 능력 향상을 위한 새로운 접근법을 제시합니다. 테스트 시간 확장과 결과 또는 과정 보상 모델을 결합하는 기존 연구들을 바탕으로, 연역적 추론에 특화된 결과 보상 모델(ORMs)을 제안합니다. ORMs 훈련을 위해 단일 및 다중 샘플을 사용한 Chain-of-Thought(CoT)를 통해 데이터를 생성하고, LLM의 오류 경향을 활용하여 추가 훈련 데이터를 생성하는 '에코 생성 기법'을 새롭게 제안합니다. 이 기법은 기존의 CoT 방식보다 더 다양한 유형의 오류를 포함하는 훈련 데이터를 생성합니다. 실험 결과, CoT와 에코 증강 데이터로 훈련된 ORMs는 FOLIO, JustLogic, ProverQA 데이터셋에서 네 가지 다른 LLMs의 성능을 향상시키는 것으로 나타났습니다.
