Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Apprendre des étiquettes bruyantes issues du crowdsourcing : une perspective de traitement du signal

Created by
  • Haebom

Auteur

Shahana Ibrahim, Panagiotis A. Traganitis, Xiao Fu, Georgios B. Giannakis

Contour

Cet article se concentre sur les techniques de crowdsourcing utilisées pour construire des ensembles de données raffinés à grande échelle, un élément moteur du développement de l'intelligence artificielle (IA) et de l'apprentissage automatique (AM). Les étiquettes générées par crowdsourcing peuvent contenir du bruit pour diverses raisons, ce qui nuit aux performances d'apprentissage. Dans cet article, nous présentons les dernières tendances de recherche en matière d'apprentissage à partir d'étiquettes issues de crowdsourcing bruyantes. Nous passons en revue les principaux modèles et traitements méthodologiques de crowdsourcing, des modèles statistiques classiques aux récentes approches basées sur l'apprentissage profond (Deep Learning). Nous insistons particulièrement sur le lien avec la théorie du traitement du signal (SP) (comme l'identifiabilité des factorisations tensorielles et matricielles non négatives), suggérant de nouvelles solutions aux défis persistants du crowdsourcing. Nous abordons également de nouveaux sujets importants pour le développement de systèmes d'IA/AM de nouvelle génération, tels que le crowdsourcing avec apprentissage par renforcement et retour humain (RLHF) et l'optimisation directe des préférences (DPO). Nous abordons notamment les techniques essentielles au perfectionnement des modèles linguistiques à grande échelle (LLM).

Takeaways, Limitations_

Takeaways:
Présentation de différentes approches (modèles statistiques, approches basées sur l'apprentissage profond, etc.) et de la possibilité d'utiliser la théorie du traitement du signal pour résoudre le problème de bruit des données participatives.
Une nouvelle solution est présentée qui exploite l’identifiabilité des décompositions de tenseurs et de matrices non négatives.
L'importance du crowdsourcing utilisant RLHF et DPO et son applicabilité au réglage fin du LLM sont présentées.
Limitations:
Manque de description détaillée des algorithmes spécifiques et des résultats expérimentaux.
Manque d’analyse comparative des différents modèles et approches de crowdsourcing.
Manque de discussion suffisante sur les applications pratiques.
👍