BMMR es un conjunto de datos de inferencia multilingüe, multimodal y multidisciplinario a gran escala que contiene 110.000 preguntas de nivel universitario para el desarrollo y la evaluación de modelos multimodales a gran escala (LMM). Abarca 300 temas definidos por la UNESCO y consta de preguntas en diversos formatos, como opciones múltiples, para completar espacios en blanco y preguntas de respuesta corta, así como datos de diversas fuentes, como libros, exámenes y cuestionarios. Se selecciona y filtra mediante un marco escalable basado en la intervención humana, y cada instancia está asociada a una ruta de inferencia de alta calidad. El conjunto de datos se divide en BMMR-Eval, que consta de 20.458 instancias de alta calidad para evaluar exhaustivamente el conocimiento y la capacidad de inferencia de los LMM, y BMMR-Train, que consta de 88.991 instancias para apoyar la investigación y el desarrollo. También proponemos un verificador multidisciplinario basado en procesos (BMMR-Verifier) para una evaluación precisa y detallada de la ruta de inferencia. Los resultados experimentales de 24 modelos muestran que incluso los modelos más avanzados tienen un margen de mejora significativo en BMMR-Eval. Los modelos de inferencia superan a los LMM solo en temas específicos, y los modelos de código abierto tienen un rendimiento inferior al de los modelos propietarios. Sin embargo, el ajuste con BMMR-Train reduce la diferencia de rendimiento. Estudios más profundos, incluyendo el análisis de cadenas de inferencia con BMMR-Verifier, revelan los desafíos actuales que enfrentan los LMM en la inferencia multidisciplinaria. El conjunto de datos se publicará próximamente.
