BMMR एक बड़े पैमाने का बहुभाषी, बहुविध, बहु-विषयक अनुमान डेटासेट है जिसमें बड़े पैमाने के बहुविध मॉडल (LMM) के विकास और मूल्यांकन के लिए 110,000 विश्वविद्यालय-स्तरीय प्रश्न शामिल हैं। यह यूनेस्को द्वारा परिभाषित 300 विषयों को शामिल करता है और इसमें बहुविकल्पीय, रिक्त स्थान भरने वाले और लघु-उत्तरीय प्रश्नों जैसे विभिन्न स्वरूपों के प्रश्न और पुस्तकों, परीक्षाओं और प्रश्नोत्तरी जैसे विभिन्न स्रोतों से प्राप्त डेटा शामिल हैं। इसे मानवीय हस्तक्षेप पर आधारित एक स्केलेबल ढाँचे के माध्यम से क्यूरेट और फ़िल्टर किया जाता है, और प्रत्येक उदाहरण एक उच्च-गुणवत्ता वाले अनुमान पथ से जुड़ा होता है। डेटासेट को BMMR-Eval में विभाजित किया गया है, जिसमें LMM के ज्ञान और अनुमान क्षमता के व्यापक मूल्यांकन के लिए 20,458 उच्च-गुणवत्ता वाले उदाहरण शामिल हैं, और BMMR-Train में आगे के अनुसंधान और विकास का समर्थन करने के लिए 88,991 उदाहरण शामिल हैं। हम सटीक और सूक्ष्म अनुमान पथ मूल्यांकन के लिए एक प्रक्रिया-आधारित बहु-विषयक सत्यापनकर्ता (BMMR-Verifier) का भी प्रस्ताव करते हैं। 24 मॉडलों पर किए गए प्रायोगिक परिणामों से पता चलता है कि अत्याधुनिक मॉडलों में भी BMMR-Eval में सुधार की काफी गुंजाइश है। अनुमान मॉडल केवल विशिष्ट विषयों पर ही LMM से बेहतर प्रदर्शन करते हैं, और ओपन-सोर्स मॉडल, मालिकाना मॉडलों से कमतर प्रदर्शन करते हैं, लेकिन BMMR-Train के साथ फाइन-ट्यूनिंग करने से प्रदर्शन का अंतर कम हो जाता है। आगे के गहन अध्ययन, जिनमें BMMR-Verifier का उपयोग करके अनुमान श्रृंखलाओं का विश्लेषण भी शामिल है, बहु-विषयक अनुमान में LMM के सामने आने वाली वर्तमान चुनौतियों को उजागर करते हैं। डेटासेट सार्वजनिक किया जाएगा।
