Este artículo se centra en el aprendizaje federado (FL), que permite entrenar modelos lingüísticos a gran escala (LLM) multilingües utilizando datos multilingües diversos y distribuidos, especialmente para idiomas con recursos limitados. La personalización mediante módulos de ajuste fino con eficiencia de parámetros (PEFT), como LoRA, se utiliza habitualmente para mejorar el rendimiento específico del cliente. Esto implica estrategias de personalización (PS), como el diseño de estructuras de adaptadores PEFT (p. ej., capas para añadir LoRA y sus rangos) y la selección de hiperparámetros para el ajuste fino (p. ej., tasas de aprendizaje). En lugar de configurar manualmente los PS, este artículo propone FedP²EFT, un método federado de aprendizaje-personalización para LLM multilingües en un entorno FL multidispositivo. FedP²EFT aprende conjuntamente una estructura PEFT personalizada óptima para cada cliente mediante la selección bayesiana de rangos dispersos. Las evaluaciones en benchmarks de FL multilingües simulados y reales demuestran que FedP²EFT supera significativamente los métodos de ajuste fino personalizados existentes y complementa otros métodos FL existentes.
