SDBench es una suite de referencia de código abierto diseñada para abordar la alta varianza en las tasas de error de los sistemas de separación de hablantes de vanguardia en múltiples conjuntos de datos que representan diversos casos de uso y dominios. Integra 13 conjuntos de datos y proporciona herramientas para un análisis consistente y granular del rendimiento de la separación de hablantes, lo que permite evaluaciones reproducibles y una fácil integración de nuevos sistemas. Para demostrar la eficacia de SDBench, desarrollamos SpeakerKit, un sistema centrado en la eficiencia de inferencia basado en Pyannote v3. Evaluamos el rendimiento de SpeakerKit con SDBench y demostramos que es 9,6 veces más rápido que Pyannote v3, con una tasa de error similar. También realizamos pruebas comparativas con seis sistemas de vanguardia, como Deepgram, AWS Transcribe y la API de IA de Pyannote, para descubrir el equilibrio crítico entre precisión y velocidad.
