본 논문은 대규모 언어 모델(LLM)의 추론 및 자기 수정 능력을 유도하기 위한 방법으로, 강화 학습의 대안을 모색한다. 자율 주행 및 로봇 공학 기술에서 영감을 얻어, 합성 오류 주입을 사용한 지도 학습이 LLM의 자기 수정 능력을 유도할 수 있는지 조사한다. 인공 오류를 추론 체인에 삽입하고 마스킹한 후, 모델이 이러한 오류를 인식하고 수정하도록 지도 학습을 진행한다. 하지만 여러 모델과 간단한 합성 작업에서도 성능 향상이 미미했으며, 오류를 감지하더라도 종종 원래 실수를 반복하는 문제가 발생했다. 또한, 합성 오류의 분포 이동이 모델의 오류 수정 능력을 저하시킨다는 것을 발견했다. 이러한 결과는 온-정책 강화 학습 방법이 자기 수정을 유도하는 데 특별히 효과적인 이유를 설명하는 데 도움이 된다.
