SDBench는 다양한 사용 사례와 도메인을 나타내는 여러 데이터셋에 걸쳐 오차율의 높은 분산을 보이는 최첨단 화자 분리 시스템의 문제를 해결하기 위해 제안된 오픈소스 벤치마크 모음입니다. 13개의 다양한 데이터셋을 통합하고 일관되고 세분화된 화자 분리 성능 분석을 위한 도구를 제공하여 재현 가능한 평가와 새로운 시스템의 용이한 통합을 가능하게 합니다. 본 논문에서는 SDBench의 효과를 보여주기 위해 Pyannote v3 기반의 추론 효율에 중점을 둔 시스템인 SpeakerKit을 구축하고, SDBench를 사용하여 SpeakerKit의 성능을 평가하고 Pyannote v3보다 9.6배 빠르면서도 비슷한 오차율을 달성함을 보여줍니다. 또한 Deepgram, AWS Transcribe, Pyannote AI API를 포함한 6개의 최첨단 시스템을 벤치마킹하여 정확성과 속도 간의 중요한 절충점을 밝힙니다.