Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Mise à l'échelle de l'apprentissage décentralisé avec FLock

Created by
  • Haebom

Auteur

Zehua Cheng, Rui Sun, Jiahao Sun, Yike Guo

Contour

Cet article propose FLock, un framework décentralisé pour l'apprentissage distribué de modèles de langage à grande échelle (MLH). Alors que l'apprentissage fédéré (LF) traditionnel est vulnérable aux points de défaillance uniques et aux attaques malveillantes provenant de serveurs centralisés, FLock intègre une couche de confiance basée sur la blockchain et des incitations économiques pour fournir un protocole de collaboration sécurisé et vérifiable entre participants non fiables. Nous présentons la première validation empirique du réglage fin d'un LLM à 70 000 paramètres dans un environnement sécurisé, multi-domaines et décentralisé, démontrant expérimentalement une réduction de plus de 68 % du taux de réussite des attaques malveillantes et des performances de généralisation inter-domaines supérieures à celles des modèles entraînés indépendamment.

Takeaways, Limitations

Takeaways:
Nous présentons FLock, un nouveau cadre pour un réglage fin distribué sûr et efficace des LLM à 70 B paramètres.
Mise en œuvre d'un protocole de collaboration décentralisé utilisant une couche de confiance basée sur la blockchain et des incitations économiques.
Démonstration de défense contre les attaques malveillantes par porte dérobée, une vulnérabilité dans l'apprentissage fédéré existant.
L’amélioration des performances de généralisation inter-domaines et la réduction du taux de réussite des attaques malveillantes ont été confirmées.
Limitations:
Des recherches supplémentaires sont nécessaires sur l’application pratique et l’évolutivité de FLock.
La généralisabilité à différentes tailles et types de LLM doit être vérifiée.
Des analyses plus approfondies sont nécessaires sur les performances et la rentabilité des systèmes basés sur la blockchain.
👍