ReasonMed: A 370K Multi-Agent Generated Dataset for Advancing Medical Reasoning
Created by
Haebom
저자
Yu Sun, Xingyu Qian, Weiwen Xu, Hao Zhang, Chenghao Xiao, Long Li, Deli Zhao, Wenbing Huang, Tingyang Xu, Qifeng Bai, Yu Rong
개요
ReasonMed은 기존의 의학 질문 응답 모델의 한계를 극복하기 위해 개발된, 370,000개 이상의 고품질 의학 추론 데이터셋입니다. 175만 개의 초기 추론 경로를 생성하고, 비용 효율적인 EMD(easy-medium-difficult) 파이프라인을 통해 큐레이션하여 만들어졌습니다. 다중 에이전트 생성, 검증, 개선 프로세스를 통해 오류 수정기를 활용하여 추론 경로의 오류를 수정합니다. ReasonMed을 사용하여 의학 추론 모델 훈련 전략을 연구한 결과, 상세한 사고 과정(CoT) 추론과 간결한 답변 요약을 통합하는 것이 가장 강력한 결과를 가져온다는 것을 발견했습니다. ReasonMed으로 훈련된 모델(ReasonMed-7B)은 기존 최고 성능의 10B 미만 모델보다 4.17% 향상된 성능을 보였고, PubMedQA에서 LLaMA3.1-70B를 4.60% 상회했습니다. ReasonMed-14B는 경쟁력을 유지하며 확장 가능성을 보여줍니다. 코드와 데이터셋은 깃허브에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
대규모 고품질 의학 추론 데이터셋 ReasonMed을 제시하여 의료 분야의 추론 모델 연구에 기여.
