BMMR est un jeu de données d'inférence multilingue, multimodal et multidisciplinaire à grande échelle contenant 110 000 questions de niveau universitaire pour le développement et l'évaluation de modèles multimodaux à grande échelle (MML). Il couvre 300 sujets définis par l'UNESCO et se compose de questions sous différents formats, tels que des questions à choix multiples, à trous et à réponse courte, ainsi que de données provenant de diverses sources telles que des livres, des examens et des quiz. Il est organisé et filtré grâce à un cadre évolutif basé sur l'intervention humaine, et chaque instance est associée à un chemin d'inférence de haute qualité. Le jeu de données est divisé en BMMR-Eval, qui comprend 20 458 instances de haute qualité pour une évaluation exhaustive des connaissances et des capacités d'inférence des MML, et BMMR-Train, qui comprend 88 991 instances pour soutenir la recherche et le développement. Nous proposons également un vérificateur multidisciplinaire basé sur les processus (BMMR-Verifier) pour une évaluation précise et fine des chemins d'inférence. Les résultats expérimentaux sur 24 modèles montrent que même les modèles les plus performants présentent une marge de progression significative dans BMMR-Eval, que les modèles d'inférence surpassent les LMM uniquement sur des sujets spécifiques, et que les modèles open source sont moins performants que les modèles propriétaires. Cependant, un réglage fin avec BMMR-Train réduit l'écart de performance. D'autres études approfondies, notamment l'analyse des chaînes d'inférence avec BMMR-Verifier, révèlent les défis actuels auxquels sont confrontés les LMM en matière d'inférence multidisciplinaire. L'ensemble de données sera rendu public.
