Este artículo propone FedSEA-LLaMA, un modelo de partición federada basado en transformadores para entornos de aprendizaje federados, que aprovecha los datos privados para mejorar el rendimiento de los modelos lingüísticos a gran escala (LLM), a la vez que aborda los silos de datos y las altas demandas computacionales. FedSEA-LLaMA garantiza la privacidad de los datos distribuyendo la mayoría de los parámetros del modelo a servidores (o clientes distribuidos), manteniendo solo una pequeña parte en los clientes. Para abordar las limitaciones de los modelos de partición federada existentes, como la vulnerabilidad del cifrado P2P, la alta sobrecarga de comunicación debido al aprendizaje secuencial y la inferencia, y el problema de los puntos de división fijos, proponemos la transmisión vectorial segura mediante inyección de ruido gaussiano, la reducción de los costes de comunicación mediante la compresión de máscara de atención y la colaboración en caché KV, y el ajuste dinámico de los puntos de división por parte del usuario. Los resultados experimentales en tareas de comprensión del lenguaje natural, resumen y preguntas-respuesta conversacionales demuestran que FedSEA-LLaMA logra hasta ocho veces más velocidad de entrenamiento e inferencia en comparación con LLaMA2 centralizado, sin ninguna degradación del rendimiento. Además, demostramos su seguridad y adaptabilidad a través del análisis de ataques a la privacidad y el análisis de varios puntos de división.
