본 논문은 대규모 언어 모델의 사전 학습-미세 조정 패러다임에서 사전 학습의 중간 지점들을 미세 조정하여 사전 학습과 미세 조정의 관계를 조사합니다. 18개 데이터셋을 이용한 실험 결과, 지속적인 사전 학습은 미세 조정 후에 드러나는 잠재적인 모델 개선을 가져오며, 미세 조정을 통해 사전 학습 단계에서 성능이 좋지 않았던 데이터셋의 성능 향상이 더 크다는 것을 보여줍니다. 또한, 지도 학습 기반 미세 조정은 모델 성능을 크게 향상시키지만, 이전에 알고 있던 지식을 잊어버리고 미세 조정 과정에서 보지 못한 작업의 성능이 저하될 수 있으며, 미세 조정 후 평가 프롬프트에 대한 민감도가 높아지지만, 추가적인 사전 학습을 통해 이를 완화할 수 있음을 제시합니다.
