Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models

Created by

Haebom

저자

Linda Zeng, Steven Y. Feng, Michael C. Frank

💡 개요

본 연구는 소규모 언어 모델을 사용하여 어린이의 다중 언어 습득 과정을 모사한다. 무작위 실험이 어려운 실제 아동 연구의 한계를 극복하기 위해, 통제된 조건 하에서 단일 언어 및 이중 언어 데이터를 생성하고 GPT-2 모델을 학습시켰다. 결과적으로, 다중 언어 모델은 단일 언어 모델과 유사한 성능을 보이면서도 두 번째 언어에서도 강한 학습 능력을 보여, 다중 언어 노출 방식에 큰 차이가 없음을 시사한다.

🔑 시사점 및 한계

•

다중 언어 습득이 학습 지연을 유발하지 않으며, 통계적 학습자에게는 다중 언어 입력 자체에 본질적인 어려움이 없음을 시사한다.

•

다양한 다중 언어 노출 방식 간에 학습 성능에 유의미한 차이가 없다는 것을 발견했다.

•

본 연구는 소규모 모델과 인공 데이터를 사용했으므로, 실제 아동의 복잡하고 다양한 언어 습득 과정을 완전히 반영하지 못할 수 있으며, 더 큰 규모의 모델 및 실제 데이터를 사용한 추가 연구가 필요하다.

PDF 보기

Made with Slashpage