LUMA est un nouvel ensemble de données conçu pour améliorer la fiabilité de l'apprentissage profond multimodal. Il intègre diverses sources d'information (texte, images, audio et vidéo) afin d'optimiser la prise de décision. Il étend l'ensemble de données CIFAR-10/100 existant en y ajoutant des données audio et textuelles. Il est spécifiquement conçu pour intégrer différents types et degrés d'incertitude, afin d'apprendre à partir de données incertaines. Les données audio ont été extraites de trois corpus audio, et les données textuelles ont été générées à l'aide du LLM Gemma-7B. LUMA est disponible sous forme de package Python incluant des fonctions permettant de générer plusieurs variations d'ensembles de données en contrôlant la diversité des données, la quantité de bruit dans chaque modalité et l'ajout d'échantillons hors distribution. Il fournit également un modèle de base pré-entraîné et trois méthodes de quantification de l'incertitude : Monte-Carlo Dropout, Deep Ensemble et Reliable Conflictive Multi-View Learning. Cela permet le développement, l'évaluation et l'analyse comparative de méthodes d'apprentissage profond multimodal fiables et robustes.
