본 논문은 소수의 예시만으로 새로운 단어를 빠르게 학습하고 다양한 문맥에서 유연하게 사용하는 인간의 능력에 착안하여, 기존 언어 모델의 극소량 학습(few-shot learning) 능력 향상을 위한 새로운 방법인 Minnow (Meta-training for IN-context learNing Of Words)를 제시합니다. Minnow는 새로운 단어를 특수한 자리 표시자 토큰으로 나타내고, 소수의 문맥 내 예시를 통해 해당 단어의 새로운 사용 예시를 생성하도록 언어 모델을 훈련하는 방법입니다. 다양한 새로운 단어에 대해 이러한 훈련을 반복하여 일반적인 단어 학습 능력을 개발합니다. 실험 결과, 아동 대상 언어 데이터를 사용하여 Minnow로 모델을 처음부터 훈련시킨 결과, 훨씬 많은 데이터로 사전 훈련된 대규모 언어 모델(LLM)과 비교할 만한 수준의 극소량 단어 학습 성능을 달성했습니다. 또한, 판별적 및 생성적 평가를 통해 사전 훈련된 LLM을 Minnow로 미세 조정하면 새로운 단어의 구분, 새로운 단어의 통사 범주 식별, 그리고 하나 또는 소수의 문맥 내 예시를 기반으로 새로운 용례와 정의 생성 능력이 향상됨을 보여줍니다. 이러한 결과는 Minnow의 데이터 효율성과 단어 학습 작업에서 언어 모델 성능을 향상시킬 가능성을 강조합니다.
