본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 향상을 위한 새로운 자기 수정 접근 방식인 SPOC을 제안합니다. SPOC은 기존의 사후 수정 방식과 달리, 단일 추론 과정에서 솔루션 생성과 검증을 동시에 진행하는 자발적 자기 수정 방식을 사용합니다. 이는 동일 모델에 솔루션 제안자와 검증자의 이중 역할을 할당하는 다중 에이전트 관점을 채택하고, 합성 데이터를 이용한 미세 조정과 온라인 강화 학습을 통해 성능을 향상시킵니다. 실험 결과, SPOC은 Llama-3.1-8B 및 70B Instruct 모델의 수학적 추론 성능을 MATH500, AMC23, AIME24 벤치마크에서 상당히 향상시켰습니다.
시사점, 한계점
•
시사점:
◦
단일 추론 과정에서 자발적인 자기 수정을 통해 LLM의 수학적 추론 능력 향상을 위한 새로운 접근 방식 제시.
◦
다중 에이전트 관점(솔루션 제안자와 검증자)을 통한 효율적인 자기 수정 구현.
◦
합성 데이터를 이용한 미세 조정 및 온라인 강화 학습을 통한 성능 향상.
◦
Llama-3.1-8B 및 70B Instruct 모델에서 여러 수학적 추론 벤치마크에서 상당한 성능 향상을 입증.
•
한계점:
◦
제안된 합성 데이터 생성 방식 및 온라인 강화 학습 전략의 일반화 가능성에 대한 추가 연구 필요.
