본 논문은 자연어 처리(NLP) 시스템의 기본 전제인 '깨끗한 데이터'가 실제 환경에서 현실화되기 어렵다는 점에 주목하여, 대규모 언어 모델(LLM)이 텍스트 내 형태적 변형(noise)에 얼마나 강건한지를 연구한다. 다양한 데이터 세트에 인위적으로 노이즈를 추가하고, LLM의 강건성을 체계적으로 평가한다. 그 결과, 생성형 LLM이 노이즈에 강하다는 것을 발견했으며, 이는 BERT나 RoBERTa와 같은 기존 사전 훈련 모델과는 대조적이다. 또한, 실제 오류를 모방한 여러 벤치마크에서 LLM의 성능을 테스트하여, 문법 오류 수정(GEC) 및 어휘 의미 변화(LSC) 분야에서 새로운 SOTA를 달성했다. 연구 결과 재현을 위한 코드와 함께, LLM과 인간 수정 결과에 대한 선호도를 나타내는 인간 주석 데이터 세트를 공개한다.
