본 논문에서는 소수의 예시만으로 새로운 단어를 빠르게 학습하고 다양한 문맥에서 유연하게 사용하는 인간의 능력에 착안하여, 소수 샷 단어 학습 능력을 향상시키는 새로운 방법인 Minnow(Meta-training for IN-context learNing Of Words)를 제시합니다. Minnow는 특수 플레이스홀더 토큰을 사용하여 새로운 단어의 사용 예시를 생성하도록 언어 모델을 훈련하는 방법입니다. 다양한 새로운 단어를 반복적으로 학습시켜 일반적인 단어 학습 능력을 개발하는 것이 핵심입니다. 실험 결과, Minnow를 사용하여 아동용 언어 데이터로부터 모델을 처음부터 훈련시킨 결과, 훨씬 많은 데이터로 사전 훈련된 대규모 언어 모델(LLM)과 비교할 만한 수준의 소수 샷 단어 학습 성능을 달성했습니다. 또한, 사전 훈련된 LLM에 Minnow를 적용하여 미세 조정한 결과, 새로운 단어의 구분, 통사 범주 식별, 새로운 용례 및 정의 생성 능력이 향상됨을 보였습니다. 이러한 결과는 Minnow의 데이터 효율성과 단어 학습 과제에서 언어 모델 성능 향상 가능성을 보여줍니다.
