Open-Medical-R1: How to Choose Data for RLVR Training at Medicine Domain
Created by
Haebom
저자
Zhongxi Qiu, Zhang Zhang, Yan Hu, Heng Li, Jiang Liu
개요
본 논문은 의료 분야에서 검증된 보상을 사용하는 강화 학습(RLVR) 훈련을 위한 최적의 데이터 선택 전략을 탐구합니다. RLVR은 대규모 언어 모델의 추론 능력 향상에 탁월한 잠재력을 보여주었지만, 기존 연구는 수학 및 논리 퍼즐에 집중되어 의료와 같은 특정 도메인 응용 분야에 대한 탐구는 제한적이었습니다. MedQA-USMLE 데이터셋에서 무작위 샘플링(기준), Phi-4, Gemma-3-27b-it, Gemma-3-12b-it 모델을 사용한 필터링 등 네 가지 데이터 샘플링 전략을 조사했습니다. Gemma-3-12b-it 모델을 기반으로 그룹 상대 정책 최적화(GRPO)를 구현하여 MMLU, GSM8K, MMLU-Pro, CMMLU 등 여러 벤치마크에서 성능을 평가했습니다. 실험 결과, 필터링된 데이터로 훈련된 모델이 무작위로 선택된 샘플로 훈련된 모델보다 일반적으로 성능이 우수한 것으로 나타났습니다. 특히, 자기 필터링된 샘플(Gemma-3-12b-it을 사용하여 필터링)로 훈련된 모델은 의료 도메인에서 우수한 성능을 달성했지만, 다른 벤치마크에서는 강건성이 감소했습니다. 반면, 같은 시리즈의 더 큰 모델을 사용하여 필터링한 경우 전반적인 강건성이 향상되었습니다. 이러한 결과는 전문 분야에서 RLVR을 위한 효과적인 데이터 구성 전략에 대한 귀중한 통찰력을 제공하며, 최적의 성능을 달성하기 위한 신중한 데이터 선택의 중요성을 강조합니다. 코드는 (https://github.com/Qsingle/open-medical-r1)에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
의료 도메인에서 RLVR 훈련을 위한 효과적인 데이터 필터링 전략을 제시합니다.
◦
모델 크기와 데이터 필터링 전략 간의 상관관계를 밝힙니다. (큰 모델을 사용한 필터링이 전반적인 강건성 향상에 기여)
◦
자기 필터링 전략의 의료 도메인 특화 성능과 일반적인 강건성 사이의 trade-off를 보여줍니다.
◦
특정 도메인에 특화된 RLVR 훈련을 위한 데이터 전처리의 중요성을 강조합니다.
•
한계점:
◦
MedQA-USMLE 데이터셋에 국한된 연구 결과입니다. 다른 의료 데이터셋으로의 일반화 가능성에 대한 추가 연구가 필요합니다.
◦
사용된 모델과 벤치마크에 대한 의존성이 존재할 수 있습니다. 다른 모델과 벤치마크를 사용한 추가적인 실험이 필요합니다.
