इस पत्र में, हम सिनर्जी प्रस्तुत करते हैं, एक भाषा मॉडल जो अमूर्तता के विभिन्न स्तरों को एक सीखे हुए रूटिंग तंत्र के माध्यम से अंत-से-अंत तक जोड़ता है। इसे निम्न-स्तरीय भाषाई अमूर्तता पर केंद्रित एक बाइट-स्तरीय भाषा मॉडल के रूप में प्रशिक्षित किया गया है, और यह बाइट-स्तरीय बाइट पेयर एनकोडर (BBPE) टोकनाइज़र की तुलना में कम अवधारणा टोकन उत्पन्न करने के लिए स्वचालित रूप से बाइट्स को टोकनाइज़ करता है, जबकि प्रदर्शन समान रहता है। लामा3 के साथ तुलना करके, हम समान मॉडल आकार और प्रशिक्षण डेटासेट आकार पर सिनर्जी की श्रेष्ठता प्रदर्शित करते हैं। आगे के अध्ययनों से पता चलता है कि जब मॉडल के मध्य भाग (उच्च-स्तरीय अमूर्तता भाग) से स्थितिगत एन्कोडिंग को हटा दिया जाता है, तो प्रदर्शन में सुधार होता है, जो स्थिति-स्वतंत्र अवधारणाओं के उद्भव का संकेत देता है। ये परिणाम एक टोकनाइज़र-मुक्त आर्किटेक्चर की व्यवहार्यता को प्रदर्शित करते हैं और अधिक मजबूत और लचीली पाइपलाइनों का मार्ग प्रशस्त करते हैं।
