From Problem-Solving to Teaching Problem-Solving: Aligning LLMs with Pedagogy using Reinforcement Learning
Created by
Haebom
저자
David Dinucu-Jianu, Jakub Macina, Nico Daheim, Ido Hakimi, Iryna Gurevych, Mrinmaya Sachan
개요
본 논문은 대규모 언어 모델(LLM)을 효과적인 교육용 튜터로 활용하기 위한 온라인 강화 학습(RL) 기반 정렬 프레임워크를 제안합니다. 단순히 질문에 답하는 것을 넘어, 교육적 질과 문제 해결 과정의 안내에 중점을 둠으로써 LLM이 효과적인 튜터로 기능하도록 합니다. 인간의 주석 없이 7B 파라미터 튜터 모델을 학습시켜 LearnLM과 같은 대규모 독점 모델과 유사한 성능을 달성했습니다. 교육적 지원과 학생의 정답률 간의 균형을 조절하는 제어 가능한 보상 가중치를 도입하여 두 목표 간의 파레토 최적점을 추적합니다. 본 모델은 단일 턴 SFT 기준 모델보다 추론 능력을 더 잘 유지하며, 모델의 교육 계획을 보여주는 사고 과정 태그를 통해 해석성을 향상시킬 수도 있습니다.
