Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Inférence conforme sous des décalages de covariables de grande dimension via la régularisation du rapport de vraisemblance

Created by
  • Haebom

Auteur

Sunay Joshi, Shayan Kiyani, George Pappas, Edgar Dobriban, Hamed Hassani

Contour

Cet article aborde le problème de la prédiction conforme sous décalage de covariables. Étant donné des données étiquetées dans le domaine source et des données non étiquetées dans le domaine cible décalé de covariables, nous cherchons à construire un ensemble de prédictions présentant une couverture marginale valide dans le domaine cible. La plupart des méthodes existantes nécessitent l'estimation d'une fonction de rapport de vraisemblance inconnue, ce qui peut s'avérer difficile pour les données de grande dimension telles que les images. Pour résoudre ce problème, nous proposons un algorithme de régression quantile non régularisée par vraisemblance (LR-QR) qui combine la perte de type « pinball loss » et une nouvelle méthode de régularisation pour construire une fonction de seuil sans estimer directement le rapport de vraisemblance inconnu. Nous montrons que la méthode LR-QR atteint le niveau de couverture souhaité dans le domaine cible jusqu'à un faible terme d'erreur contrôlable. La preuve repose sur l'analyse de la couverture par des bornes de stabilité en théorie de l'apprentissage. Les résultats expérimentaux montrent que l'algorithme LR-QR surpasse les méthodes existantes sur les tâches de prédiction de grande dimension, notamment les tâches de régression sur l'ensemble de données « Communautés et Criminalité », les tâches de classification d'images sur le référentiel WILDS et les tâches de questions-réponses LLM sur le benchmark MMLU.

Takeaways, Limitations

Takeaways: Nous présentons un nouvel algorithme (LR-QR) pour une prédiction de référence valide en cas de décalage de covariable dans des données de grande dimension, et démontrons son efficacité à travers diverses expériences. Nous montrons qu'il peut générer un ensemble de prédictions très précises sans estimation directe du rapport de vraisemblance.
Limitations: Il existe un faible terme d'erreur contrôlable, et une analyse plus approfondie de sa taille et de son impact est nécessaire. Il est possible d'analyser et d'améliorer la complexité de calcul de l'algorithme. Des recherches supplémentaires sont nécessaires sur les performances de généralisation pour différents types de décalages de covariables.
👍