Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Escalando el aprendizaje descentralizado con FLock

Created by
  • Haebom

Autor

Zehua Cheng, Rui Sun, Jiahao Sun, Yike Guo

Describir

Este artículo propone FLock, un marco descentralizado para el entrenamiento distribuido de modelos lingüísticos a gran escala (LLM). Si bien el aprendizaje federado (FL) tradicional es vulnerable a puntos únicos de fallo y ataques maliciosos desde servidores centralizados, FLock integra una capa de confianza basada en blockchain e incentivos económicos para proporcionar un protocolo de colaboración seguro y auditable entre participantes no confiables. Presentamos la primera validación empírica del ajuste fino de un LLM de 70B parámetros en un entorno seguro, multidominio y descentralizado, demostrando experimentalmente una reducción de más del 68 % en la tasa de éxito de ataques maliciosos y un rendimiento superior de generalización entre dominios en comparación con los modelos entrenados de forma independiente.

Takeaways, Limitations

Takeaways:
Presentamos FLock, un nuevo marco para el ajuste fino distribuido, seguro y eficiente de LLM de 70B parámetros.
Implementar un protocolo de colaboración descentralizada utilizando una capa de confianza basada en blockchain e incentivos económicos.
Demostración de defensa contra ataques maliciosos de puerta trasera, una vulnerabilidad en el aprendizaje federado existente.
Se confirmó un mejor rendimiento de generalización entre dominios y una reducción en la tasa de éxito de ataques maliciosos.
Limitations:
Se necesita más investigación sobre la aplicación práctica y la escalabilidad de FLock.
Es necesario verificar la generalización a diferentes tamaños y tipos de LLM.
Se necesitan más análisis sobre el rendimiento y la rentabilidad de los sistemas basados ​​en blockchain.
👍