SDBench एक ओपन-सोर्स बेंचमार्क सूट है जिसे विविध उपयोग मामलों और डोमेन का प्रतिनिधित्व करने वाले कई डेटासेट में अत्याधुनिक स्पीकर पृथक्करण प्रणालियों की त्रुटि दरों में उच्च भिन्नता को संबोधित करने के लिए प्रस्तावित किया गया है। यह 13 विविध डेटासेट को एकीकृत करता है और सुसंगत एवं विस्तृत स्पीकर पृथक्करण प्रदर्शन विश्लेषण के लिए उपकरण प्रदान करता है, जिससे पुनरुत्पादनीय मूल्यांकन और नई प्रणालियों का आसान एकीकरण संभव हो पाता है। SDBench की प्रभावशीलता को प्रदर्शित करने के लिए, हमने SpeakerKit का निर्माण किया, जो Pyannote v3 पर आधारित अनुमान दक्षता पर केंद्रित एक प्रणाली है। हमने SDBench का उपयोग करके SpeakerKit के प्रदर्शन का मूल्यांकन किया और दिखाया कि यह Pyannote v3 की तुलना में 9.6 गुना तेज़ है और त्रुटि दर समान है। हमने सटीकता और गति के बीच महत्वपूर्ण संतुलन को उजागर करने के लिए Deepgram, AWS Transcribe और Pyannote AI API सहित छह अत्याधुनिक प्रणालियों का भी बेंचमार्क किया।
