TRACE: Distilling Where It Matters via Token-Routed Self On-Policy Alignment

작성자

Haebom

카테고리

Empty

저자

Jiaxuan Wang, Xuan Ouyang, Zhiyu Chen, Yulan Hu, Zheng Pan, Xin Li, Lan-Zhe Guo

💡 개요

본 논문은 강화학습에서 정책이 스스로를 지도하는 온-폴리시 자기 증류(self-OPD) 과정에서 발생하는 문제점, 즉 과도한 정보 유출 및 성능 저하를 해결하기 위해 '토큰 라우팅 기반 중요 추론 정렬(TRACE)'이라는 새로운 방법론을 제안합니다. TRACE는 모든 토큰에 대해 증류하는 대신, 정답 또는 오류로 표시된 중요 토큰 구간에만 선택적으로 증류를 수행하여 효율성과 정확성을 높입니다. 이를 통해 수학 및 과학 QA 벤치마크에서 기존 방법 대비 평균 2.76%p의 성능 향상을 달성하고, 장기 추론 능력 저하 및 분포 외(OOD) 성능 저하 문제를 효과적으로 완화합니다.

🔑 시사점 및 한계

•

핵심 시사점 1: 모든 토큰에 대한 일률적인 증류는 불필요한 정보 유출 및 성능 저하를 야기할 수 있으며, 중요 토큰 구간에 집중하는 선택적 증류가 더 효과적임을 보여줍니다.

•

핵심 시사점 2: TRACE는 강화학습 모델의 장기 추론 능력과 분포 외(OOD) 성능을 향상시키면서도, 추가적인 외부 주석 없이도 성능 개선이 가능함을 입증합니다.

•

한계점 또는 향후 과제: 최적의 라우팅 전략이 모델 규모에 따라 달라질 수 있음을 확인하였으나, 다양한 모델 및 태스크에 대한 일반화된 라우팅 규칙을 탐색하고, 온라인 자기 주석 과정의 효율성과 효과를 더욱 개선할 필요가 있습니다.

PDF 보기

Made with Slashpage