यह शोधपत्र इस बात पर प्रकाश डालता है कि बहुविध वृहत्-स्तरीय भाषा मॉडल (एलएलएम) में हुई प्रगति के बावजूद, जिसने विभिन्न विधाओं में जटिल डेटा इनपुट का विश्लेषण और समझने की क्षमता में उल्लेखनीय सुधार किया है, उपयुक्त मानकों के अभाव में दीर्घ दस्तावेज़ प्रसंस्करण एक अप्रयुक्त क्षेत्र बना हुआ है। इस समस्या का समाधान करने के लिए, यह शोधपत्र डॉक्यूमेंट हेस्टैक प्रस्तुत करता है, जो एक व्यापक मानक है जिसे दृष्टिगत रूप से जटिल दीर्घ दस्तावेज़ों पर विज़न लैंग्वेज मॉडल (वीएलएम) के प्रदर्शन का मूल्यांकन करने के लिए डिज़ाइन किया गया है। डॉक्यूमेंट हेस्टैक में 5 से 200 पृष्ठों तक के दस्तावेज़ होते हैं और वीएलएम की पुनर्प्राप्ति क्षमताओं को चुनौती देने के लिए दस्तावेज़ के भीतर विभिन्न गहराइयों पर शुद्ध पाठ या बहुविध पाठ-और-चित्र "सुइयों" को रणनीतिक रूप से सम्मिलित किया जाता है। इसमें 400 दस्तावेज़ प्रकार और कुल 8,250 प्रश्न शामिल हैं, जो एक वस्तुनिष्ठ और स्वचालित मूल्यांकन ढाँचे का समर्थन करते हैं। यह शोधपत्र डॉक्यूमेंट हेस्टैक डेटासेट की संरचना और विशेषताओं का विवरण देता है, प्रमुख वीएलएम के परिणाम प्रस्तुत करता है, और इस क्षेत्र में संभावित शोध दिशाओं पर चर्चा करता है।
