Curriculum Learning for Efficient Chain-of-Thought Distillation via Structure-Aware Masking and GRPO

작성자

Haebom

카테고리

Empty

저자

Bowen Yu, Maolin Wang, Sheng Zhang, Binhao Wang, Yi Wen, Jingtong Gao, Bowen Liu, Zimo Zhao, Wanyu Wang, Xiangyu Zhao

💡 개요

본 논문은 대규모 언어 모델(LLM)의 복잡한 연쇄적 사고(Chain-of-Thought, CoT) 추론 능력을 더 작은 모델로 효율적으로 증류하는 문제를 해결합니다. 이를 위해 구조적 이해, 정책 최적화를 통한 정확성과 간결성 균형 학습, 실패 사례 집중 개선의 세 단계로 구성된 커리큘럼 학습 프레임워크를 제안합니다. 제안된 방법은 성능 향상과 출력 길이 단축이라는 두 마리 토끼를 잡으며 기존 방식들을 능가함을 실험적으로 입증했습니다.

🔑 시사점 및 한계

•

LLM의 CoT 추론을 효과적으로 압축하여 소형 모델에서도 해석 가능성을 유지하면서 성능을 높일 수 있음을 보여줍니다.

•

구조 인식 마스킹과 GRPO(Group Relative Policy Optimization)를 활용한 단계별 학습 전략이 효율적인 증류에 중요한 역할을 합니다.

•

제안된 방법의 효율성을 다양한 벤치마크 데이터셋과 모델 크기에 걸쳐 추가적으로 검증할 필요가 있습니다.

PDF 보기

Made with Slashpage