본 논문은 대규모 언어 모델(LLM)의 단일 에포크 사전 훈련에서 dropout의 역할에 대한 종합적인 실험적 연구를 수행했습니다. 기존의 dropout이 과적합을 줄이고 성능을 향상시키는 것으로 알려져 있지만, 최근의 단일 에포크 사전 훈련 방식에서는 과적합이 거의 발생하지 않아 dropout이 사용되지 않는 경향이 있습니다. 실험 결과, 마스크된 언어 모델(BERT)과 자기회귀 언어 모델(Pythia 160M 및 1.4B)의 사전 훈련에서 dropout을 적용하지 않을 때 언어 모델링, 형태 구문 분석(BLiMP), 질문 답변(SQuAD), 자연어 추론(MNLI) 등 다양한 하류 작업에서 성능이 향상됨을 발견했습니다. 또한, 최근 제안된 "early dropout" 또한 dropout을 전혀 적용하지 않는 것보다 성능을 저하시키는 것을 확인했습니다. 더 나아가, dropout을 적용하지 않고 훈련된 모델이 기울기 기반 모델 편집(MEND)에서 더 성공적이며, 표현 기반 모델 편집(ReFT)에서는 동등한 성능을 보임을 확인했습니다. 따라서 본 논문은 단일 에포크 사전 훈련 중 dropout을 제거할 것을 제안합니다.
