यह शोधपत्र एक स्वचालित समानांतरीकरण ढाँचा, TAPAS, प्रस्तुत करता है जो बड़े पैमाने के तंत्रिका नेटवर्कों के वितरित प्रशिक्षण के लिए आवश्यक टेंसर समानांतरीकरण रणनीतियों के स्वचालित निर्धारण की चुनौतियों का समाधान करता है। यह ढाँचा, तंत्रिका नेटवर्कों की आवर्ती उप-संरचना का लाभ उठाते हुए, विभाजन-और-विजय दृष्टिकोण का उपयोग करके खोज स्थान को कुशलतापूर्वक कम करके, मौजूदा विधियों के घातीय रूप से बढ़ते खोज स्थान का समाधान करता है। यह दृष्टिकोण मॉडल आकार के संबंध में उप-रेखीय जटिलता प्राप्त करता है, जिससे बड़े पैमाने के नेटवर्क प्रशिक्षण के लिए लागू एक मापनीय समाधान प्राप्त होता है। प्रायोगिक परिणाम दर्शाते हैं कि TAPAS मौजूदा अत्याधुनिक स्वचालित समानांतरीकरण ढाँचों की तुलना में 160 गुना तक तेज़ खोज गति प्राप्त करता है, और व्युत्पन्न रणनीति का प्रदर्शन विशेषज्ञ द्वारा डिज़ाइन की गई मेगाट्रॉन-एलएम लाइब्रेरी के बराबर या उससे बेहतर है।
