Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Dans cet article, nous présentons InfoMax, une nouvelle méthode d'élagage des données qui maximise le contenu informationnel et minimise la redondance. InfoMax mesure le contenu informationnel des échantillons individuels à l'aide de leurs scores d'importance et quantifie la redondance en fonction de la similarité entre eux. Il formule le problème de sélection de l'ensemble de base comme un problème de programmation quadratique discrète (DQP), maximisant la somme des contributions des échantillons individuels moins la redondance introduite par des échantillons similaires. Grâce à un solveur efficace basé sur le gradient, une technique de parcimonie pour la matrice de similarité et une stratégie de partitionnement des ensembles de données, nous garantissons l'évolutivité, même pour des ensembles de données contenant des millions d'échantillons. Nous démontrons expérimentalement les performances supérieures d'InfoMax sur diverses tâches d'élagage des données, notamment la classification d'images, le pré-apprentissage du langage visuel et l'optimisation des instructions de modèles linguistiques à grande échelle. Le code est disponible à l' adresse https://github.com/hrtan/InfoMax .
InfoMax, une nouvelle méthode d'élagage des données (sélection de coreset) basée sur la quantité d'informations, est présentée.
◦
Développement d’algorithmes évolutifs pouvant être appliqués efficacement à des ensembles de données à grande échelle.
◦
D'excellentes performances ont été vérifiées dans divers domaines tels que la classification d'images, la préformation vision-langage et le réglage fin des modèles de langage à grande échelle.
◦
La reproductibilité est assurée grâce à un code ouvert.
•
Limitations:
◦
Des analyses plus approfondies sont nécessaires sur les performances et l’efficacité des solveurs basés sur le gradient pour résoudre les problèmes DQP.
◦
Une validation supplémentaire des performances de généralisation sur divers ensembles de données et modèles est nécessaire.
◦
Il existe une marge d’amélioration dans les scores d’importance des échantillons et les mesures de similarité.
