의료 분야 대규모 언어 모델 훈련에서 데이터의 중요성을 강조하며, 양질의 데이터 큐레이션을 통한 견고한 멀티모달 추론 모델 개발 전략을 연구합니다. 특히, 지도 기반 미세 조정(SFT) 방식을 사용하고 구조화된 추론 트레이스를 활용하는 데이터 레시피를 탐구합니다. 800만 개 이상의 예시와 68억 개의 응답 토큰으로 확장된 데이터셋을 사용하여 다양한 의료 벤치마크에서 SOTA 성능을 달성했으며, 다양한 길이의 구조화된 추론 트레이스를 포함한 고품질 데이터셋이 모델 스스로의 추론 궤적 길이를 조절하는 데 기여함을 밝힙니다.
시사점, 한계점
•
고품질 및 다양한 의료 데이터셋 큐레이션의 중요성 강조
•
구조화된 추론 트레이스를 활용한 데이터 레시피 제안
•
대규모 데이터셋을 활용하여 오픈소스 모델의 성능 향상
•
모델의 추론 궤적 길이 조절 능력 입증
•
향후 견고한 의료 시각-언어 추론 시스템 개발의 방향 제시
•
본 논문에서는 특정 의료 벤치마크에서의 성능 개선에 초점을 맞추었으며, 모델의 일반화 능력 및 실제 임상 환경에서의 적용 가능성에 대한 추가 연구가 필요합니다.
