Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Une théorie pour la modélisation générative conditionnelle sur plusieurs sources de données
Created by
Haebom
Auteur
Rongzhen Wang, Yan Zhang, Chenyu Zheng, Chongxuan Li, Guoqiang Wu
Contour
Cet article est le premier à fournir une analyse rigoureuse de l'apprentissage multi-sources en modélisation générative conditionnelle utilisant des données multi-sources. Dans une modélisation générative conditionnelle où chaque condition représente une source de données différente, nous établissons une limite d'erreur d'estimation de distribution générale dans la distance de variance totale moyenne, basée sur une estimation du maximum de vraisemblance conditionnelle utilisant des nombres de référence. Nous montrons que l'apprentissage multi-sources garantit une limite plus précise que l'apprentissage mono-source lorsqu'il existe une certaine similarité entre les distributions des sources et que le modèle est suffisamment expressif. De plus, nous formalisons la théorie générale de l'estimation gaussienne conditionnelle et des modèles génératifs profonds, notamment les modèles autorégressifs et flexibles basés sur l'énergie, en caractérisant les nombres de référence. Les résultats soulignent que le nombre de sources et la similarité entre les distributions des sources renforcent les avantages de l'apprentissage multi-sources. Pour vérifier la théorie, nous effectuons des simulations et des expériences ; le code est disponible dans https://github.com/ML-GSAI/Multi-Source-GM .
Nous présentons des résultats analytiques rigoureux qui soutiennent théoriquement les avantages de l’apprentissage multi-sources.
◦
Analyse quantitative de l'impact de la similarité de la distribution des sources et du nombre de sources sur l'efficacité de l'apprentissage multi-sources.
◦
Application des résultats théoriques à l'estimation gaussienne conditionnelle et à divers modèles génératifs profonds (modèles autorégressifs, basés sur l'énergie).
◦
Validation de la théorie par vérification expérimentale et divulgation du code.
•
Limitations:
◦
L’applicabilité de la théorie présentée peut être limitée aux modèles capables de calculer efficacement le nombre de bracketings.
◦
Une validation expérimentale plus poussée de l’efficacité de l’apprentissage multi-sources de divers modèles génératifs conditionnels est nécessaire dans les applications du monde réel.
◦
Des recherches supplémentaires sont nécessaires sur la manière de quantifier la similarité entre les distributions de sources.
