यह शोधपत्र बहुविधीय वृहत्-स्तरीय भाषा मॉडल (एमएलएलएम) में अपर्याप्त वस्तु गणना क्षमताओं की समस्या का समाधान करता है। हम मौजूदा बेंचमार्क (कम वस्तु घनत्व और सीमित दृश्य क्षेत्र) की सीमाओं पर प्रकाश डालते हैं और वास्तविक परिस्थितियों में एमएलएलएम के वस्तु गणना प्रदर्शन के मूल्यांकन हेतु एक नवीन बेंचमार्क, CountQA, प्रस्तावित करते हैं। CountQA में 1,500 से अधिक प्रश्न-उत्तर युग्म हैं जिनमें उच्च वस्तु घनत्व, अव्यवस्था और अवरोधन वाली वास्तविक दुनिया की छवियां शामिल हैं। CountQA के साथ 15 अग्रणी एमएलएलएम का मूल्यांकन करने पर पता चलता है कि सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल ने केवल 42.9% सटीकता प्राप्त की, और वस्तुओं की संख्या बढ़ने के साथ प्रदर्शन में गिरावट आई। CountQA, एमएलएलएम की वस्तु गणना क्षमताओं के निदान और सुधार के लिए एक समर्पित बेंचमार्क प्रदान करता है, जो अगली पीढ़ी के एमएलएलएम के विकास की नींव रखता है जो न केवल तकनीकी रूप से कुशल हैं, बल्कि संख्यात्मक रूप से सटीक और स्थानिक रूप से भी जागरूक हैं।
