Detecting RLVR Training Data via Structural Convergence of Reasoning

Created by

Haebom

저자

Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

💡 개요

본 논문은 강화학습 기반의 검증 가능한 보상(RLVR) 학습 방식이 모델의 추론 과정에 독특한 행동적 특징을 유발한다는 점에 주목하여, RLVR 훈련 데이터를 탐지하는 새로운 방법을 제안합니다. 제안된 Min-$k$NN Distance 탐지기는 훈련 중 노출된 프롬프트에 대한 모델 생성 결과의 구조적 수렴성을 측정하여, 기존 방법보다 효과적으로 RLVR 훈련 데이터를 구분해냅니다. 실험 결과, 이 방법은 RLVR 훈련 데이터를 명확하게 식별하며 기존의 탐지 기법들을 능가하는 성능을 보였습니다.

🔑 시사점 및 한계

•

RLVR 학습 방식은 모델의 생성 결과에 "수렴성"이라는 특징을 부여하며, 이를 통해 훈련 데이터를 효과적으로 탐지할 수 있습니다.

•

Min-$k$NN Distance는 모델의 내부 정보를 요구하지 않는 블랙박스 탐지기로, 다양한 RLVR 학습 모델에 적용 가능합니다.

•

본 연구는 RLVR 훈련 데이터 탐지에 초점을 맞추고 있으며, 다른 종류의 데이터 오염이나 훈련 방식에 대한 탐지 방법은 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage