Este artículo aborda el ajuste de instrucciones, un paso crucial para mejorar la capacidad de respuesta de los modelos de lenguaje grandes (LLM) preentrenados a las instrucciones. El aprendizaje federado (FL) es eficaz para el ajuste de LLM, ya que ayuda a los clientes a utilizar sus enormes datos de instrucciones privadas y mejora la diversidad de datos. Mientras que el ajuste federado tradicional utiliza todos los datos locales, lo que genera una sobrecarga computacional excesiva y un sobreajuste de datos locales, las soluciones centralizadas eficientes en el uso de datos no son adecuadas para FL debido a problemas de privacidad. En este artículo, presentamos un método de ajuste de instrucciones federado eficiente en el uso de datos, denominado FedHDS. FedHDS ajusta los LLM utilizando un subconjunto representativo de datos de borde, lo que reduce la redundancia de datos dentro y entre clientes sin compartir datos sin procesar. Los resultados experimentales, utilizando diversos LLM, conjuntos de datos y divisiones, muestran que FedHDS mejora Rouge-L en tareas desconocidas en un promedio del 10,72 %, en comparación con los métodos de ajuste de instrucciones federadas de datos completos de última generación, a la vez que mejora la eficiencia del entrenamiento hasta diez veces utilizando menos del 1,5 % de muestras de datos.
