Cet article présente un cadre mathématique intégré pour résoudre le problème de l'extraction de sens à partir de données incertaines et bruitées. Il propose un cadre reliant la théorie classique de l'estimation, l'inférence statistique et l'apprentissage automatique moderne, notamment l'apprentissage profond et les modèles linguistiques à grande échelle. En analysant la manière dont des techniques telles que l'estimation par maximum de vraisemblance, l'inférence bayésienne et les mécanismes d'attention gèrent l'incertitude, nous démontrons que de nombreuses méthodes d'IA reposent sur des principes probabilistes communs. À l'aide d'exemples tirés de l'identification de systèmes, de la classification d'images et de la génération de langage, nous démontrons comment des modèles de plus en plus complexes s'appuient sur ce fondement pour relever des défis pratiques tels que le surapprentissage, la rareté des données et l'interprétabilité. Nous démontrons que l'estimation par maximum de vraisemblance, l'estimation MAP, la classification bayésienne et l'apprentissage profond représentent tous différents aspects de l'objectif commun consistant à inférer des causes cachées à partir d'observations bruitées ou biaisées. Cet article constitue une synthèse théorique et un guide pratique pour les étudiants et les chercheurs qui explorent l'évolution du paysage de l'apprentissage automatique.
