본 논문은 소수 샘플 학습에서 사전 훈련된(PT) 모델과 미세 조정이 메타 학습 알고리즘보다 우수하다는 기존의 믿음을 재평가합니다. 다양한 데이터셋을 사용하여 PT와 모델 불가지론적 메타 학습(MAML)을 동일한 아키텍처, 최적화기, 그리고 수렴까지 학습하는 조건 하에 공정하게 비교 분석합니다. 효과 크기(Cohen's d)를 이용하여 통계적 유의성을 엄격하게 검증하고, 데이터셋의 형식적 다양성 계수를 계산하여 분석합니다. 그 결과, 데이터셋의 형식적 다양성이 낮을 때는 PT가 MAML보다 우수하고, 높을 때는 MAML이 PT보다 우수함을 보였습니다. 하지만 효과 크기는 0.2 미만으로 통계적 차이가 크지 않았습니다. 21개의 소수 샘플 학습 벤치마크와 Meta-Dataset을 포함한 대규모 데이터셋을 사용하여 실험을 진행했으며, Openwebtext에서 GPT-2를 사용한 실험에서도 유의미한 차이를 발견하지 못했습니다. 따라서 사전 훈련된 모델이 항상 메타 학습 모델보다 우수한 것은 아니며, 데이터셋의 형식적 다양성이 중요한 요소임을 결론짓습니다.
