SDBench est une suite de benchmarks open source conçue pour pallier la forte variabilité des taux d'erreur des systèmes de séparation des locuteurs de pointe sur plusieurs jeux de données représentant divers cas d'utilisation et domaines. Elle intègre 13 jeux de données différents et fournit des outils d'analyse cohérente et granulaire des performances de séparation des locuteurs, permettant des évaluations reproductibles et une intégration aisée de nouveaux systèmes. Pour démontrer l'efficacité de SDBench, nous avons développé SpeakerKit, un système axé sur l'efficacité de l'inférence basé sur Pyannote v3. Nous évaluons les performances de SpeakerKit avec SDBench et démontrons qu'il est 9,6 fois plus rapide que Pyannote v3, tout en obtenant un taux d'erreur similaire. Nous avons également évalué six systèmes de pointe, dont Deepgram, AWS Transcribe et l'API Pyannote AI, afin de mettre en évidence le compromis crucial entre précision et rapidité.
