टोकनफ्लो एक नया, एकीकृत इमेज टोकनाइज़र है जो मल्टीमॉडल समझ और निर्माण के बीच लंबे समय से चली आ रही खाई को पाटता है। पिछले शोधों ने एकल पुनर्निर्माण-लक्ष्य वेक्टर क्वांटिज़ेशन (VQ) एनकोडर का उपयोग करके इन दोनों कार्यों को एकीकृत करने का प्रयास किया है। हालाँकि, हमने देखा है कि समझ और निर्माण के लिए दृश्य जानकारी की मौलिक रूप से भिन्न ग्रैन्युलैरिटी की आवश्यकता होती है। यह एक महत्वपूर्ण समझौता प्रस्तुत करता है, जिससे खराब प्रदर्शन होता है, खासकर मल्टीमॉडल समझ कार्यों के लिए। टोकनफ्लो एक अभिनव दोहरे-कोडबुक आर्किटेक्चर के साथ इस चुनौती का समाधान करता है जो एक साझा मैपिंग तंत्र के माध्यम से सिमेंटिक और पिक्सेल-स्तरीय फ़ीचर लर्निंग को अलग करता है जबकि उनका संरेखण बनाए रखता है। यह डिज़ाइन कार्यों को समझने के लिए महत्वपूर्ण उच्च-आयामी सिमेंटिक अभ्यावेदन और एक साझा सूचकांक के माध्यम से निर्माण के लिए आवश्यक सूक्ष्म-कणीय दृश्य फ़ीचर तक सीधी पहुँच प्रदान करता है। व्यापक प्रयोग कई आयामों में टोकनफ्लो की श्रेष्ठता को प्रदर्शित करते हैं। टोकनफ्लो का लाभ उठाते हुए, हमने असतत दृश्य इनपुट के लिए समझ प्रदर्शन में LLaVA-1.5 13B से बेहतर प्रदर्शन किया, जिसमें औसतन 7.2% का सुधार हुआ। छवि पुनर्निर्माण के लिए, हमने 384x384 रिज़ॉल्यूशन पर 0.63 का एक मज़बूत FID स्कोर हासिल किया। इसके अतिरिक्त, TokenFlow ने 256 x 256 रिज़ॉल्यूशन पर 0.55 के GenEval स्कोर के साथ ऑटोरिग्रैसिव छवि निर्माण में अत्याधुनिक प्रदर्शन हासिल किया, जो SDXL के बराबर है।
