Los autores estudian si el preentrenamiento de un modelo de lenguaje (LM) de decodificador a pequeña escala en un entorno con memoria y latencia limitadas permite una rápida adaptación a lenguajes desconocidos y transferencias de disparo cero. En concreto, utilizan un método que sustituye algunos de los objetivos autorregresivos del modelo por metaaprendizaje agnóstico del modelo de primer orden (MAML). Los experimentos se realizan en tagalo y cebuano, y demuestran que MAML mejora las puntuaciones micro-F1 de disparo cero y reduce los tiempos de convergencia.
