본 논문은 기존 모델을 참고하여 표적 모델의 학습을 전략적 데이터 선택이나 가중치 부여를 통해 안내하고 향상시키는 새로운 학습 패러다임인 **모델 스티어링(model steering)**을 공식화합니다. 대규모 기초 모델 학습 등 다양한 분야에서 임시적인 방법들이 사용되어 왔지만, 그 기저 원리는 충분히 이해되지 않아 최적의 성능을 발휘하지 못했습니다. 본 연구는 분포적으로 강건한 최적화(DRO)에 기반한 이론 중심의 모델 스티어링 프레임워크인 DRRho 위험 최소화를 제안합니다. 일반화 분석을 통해 참조 모델 없이 학습하는 것보다 이 방법이 일반화 성능과 데이터 효율성을 향상시키는 이유에 대한 이론적 통찰을 제공합니다. 또한, 대조 학습과 DRO 간의 연관성을 바탕으로 참조 모델을 사용하는 새로운 대조 언어-이미지 사전 학습(CLIP) 방법인 DRRho-CLIP을 제시합니다. 광범위한 실험을 통해 이론적 통찰력을 검증하고, 참조 모델 없이 CLIP을 사용하는 것보다 우수한 스케일링 법칙을 보여주며, 기존의 휴리스틱 접근 방식보다 우수함을 입증합니다.
