본 연구는 사전 훈련된 번역 모델을 사용하여 한국어 문법 오류 수정 시스템인 KoGEC을 제시합니다. No Language Left Behind (NLLB) 모델을 한국어 문법 오류 수정을 위해 미세 조정하고, GPT-4 및 HCX-3과 같은 대규모 언어 모델과 성능을 비교했습니다. 두 개의 소셜 미디어 대화 데이터셋을 사용하여 학습 및 테스트를 진행했으며, 원본 문장과 수정된 문장을 구분하기 위해 특수 언어 토큰을 사용하여 NLLB 모델을 미세 조정했습니다. BLEU 점수와 "LLM as judge" 방법을 사용하여 오류 유형을 분류하고 평가했습니다. 그 결과, 미세 조정된 NLLB(KoGEC) 모델이 한국어 문법 오류 수정 작업에서 GPT-4 및 HCX-3을 능가하는 것으로 나타났습니다. KoGEC은 다양한 오류 유형에 걸쳐 더 균형 잡힌 오류 수정 프로필을 보여준 반면, 대규모 언어 모델은 구두점 오류에 대한 수정에 집중도가 낮았습니다. 또한 KoGEC 시스템을 사용자에게 제공하기 위해 Chrome 확장 프로그램을 개발했습니다. 마지막으로, 토큰 어휘 확장을 통해 모델 성능을 더욱 향상시키는 것을 탐색했지만, 모델 성능이 저하되는 것을 확인했습니다. 본 연구는 효율적이고 특화된 한국어 문법 오류 수정 시스템과 새로운 평가 방법을 제공함으로써 NLP 분야에 기여합니다. 또한 특수화된 NLP 작업에서 대규모의 범용 언어 모델과 경쟁할 수 있는 소규모의 작업 특화 모델의 잠재력을 강조합니다.
