Correct Is Not Enough: Training Reasoning Planners with Executor-Grounded Rewards

작성자

Haebom

카테고리

Empty

저자

Tianyang Han, Hengyu Shi, Junjie Hu, Xu Yang, Zhiling Wang, Junhao Su

💡 개요

본 논문은 대규모 언어 모델(LLM)의 명시적인 추론 능력을 향상시키기 위해 강화 학습과 검증 가능한 보상을 활용하는 기존 방식의 한계를 지적합니다. 최종 결과의 정확성만으로는 추론 과정의 충실성, 신뢰성, 유용성을 제대로 평가할 수 없다는 점을 바탕으로, 본 연구에서는 'TraceLift'라는 새로운 학습 프레임워크를 제안합니다. TraceLift는 추론 과정을 실행기가 소비할 수 있는 중간 산물로 취급하며, 실행기 기반 보상을 통해 추론 과정의 품질과 유용성을 동시에 학습하도록 설계되었습니다.

🔑 시사점 및 한계

•

추론 과정의 유용성 평가의 중요성: 최종 결과의 정확성뿐만 아니라, 추론 과정이 후속 모델이나 시스템에 얼마나 유용하게 작용하는지를 평가하는 것이 LLM의 진정한 추론 능력 향상에 필수적입니다.

•

'이유가 틀렸어도 정답' 문제 해결: TraceLift는 올바른 결론에 도달하기 위한 과정 자체의 품질을 평가함으로써, 잘못된 이유로 정답을 맞히는 경우를 방지하고 추론 과정의 신뢰성을 높입니다.

•

데이터셋 구축의 필요성: 본 연구에서 제안하는 TRACELIFT-GROUPS와 같이, 다양한 오류를 포함하면서도 관련성을 유지하는 '이유 중심'의 주석 데이터셋 구축이 추론 능력 향상 연구에 중요합니다.

•

한계점/향후 과제: 본 연구는 코드 및 수학 문제에 초점을 맞추고 있으며, 추론 과정의 복잡성이 증가하거나 추론 대상이 달라질 경우 TraceLift의 적용 가능성과 성능에 대한 추가적인 검증이 필요합니다. 또한, 실행기 모델의 성능 자체가 추론 학습 결과에 미치는 영향도 고려될 필요가 있습니다.

PDF 보기

Made with Slashpage