Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Revisando SSL para la detección de eventos de sonido: fusión complementaria y posprocesamiento adaptativo

Created by
  • Haebom

Autor

Hanfang Cui, Longfei Song, Li Li, Dongxing Xu, Yanhua Long

Describir

Este artículo evalúa sistemáticamente la sinergia de los modelos de aprendizaje autosupervisado (SSL) de vanguardia para la detección de eventos acústicos (SED) y presenta directrices para la selección e integración óptimas de modelos. Proponemos un marco que combina diversas representaciones SSL (p. ej., BEATs, HuBERT y WavLM) mediante tres estrategias de fusión: integración de SSL individuales, fusión bimodal y agregación global. Los resultados experimentales del desafío DCASE 2023 Task 4 demuestran que la fusión bimodal (p. ej., CRNN+BEATs+WavLM) logra mejoras complementarias de rendimiento, siendo la combinación CRNN+BEATs la que logra el mejor rendimiento entre los modelos SSL individuales. Además, introducimos los cuadros delimitadores de eventos acústicos regularizados (nSEBBs), un método de posprocesamiento adaptativo que ajusta dinámicamente las predicciones de los límites de los eventos, mejorando la PSDS1 de los modelos SSL independientes hasta en un 4 %. Estos resultados destacan la compatibilidad y complementariedad de las arquitecturas SSL y proporcionan orientación para la fusión específica de la tarea y el diseño robusto de sistemas SED.

Takeaways, Limitations

•
Takeaways:
◦
Sugerimos la posibilidad de mejorar el rendimiento de SED mediante la fusión de varios modelos SSL.
◦
Demostración experimental de la eficacia de la estrategia de fusión de modo dual.
◦
Mejora del rendimiento de SED con técnicas de posprocesamiento de nSEBB.
◦
Proporciona pautas para seleccionar modelos SSL y estrategias de fusión que sean apropiadas para tareas específicas.
•
Limitations:
◦
Sólo se presentan resultados experimentales en un conjunto de datos limitado (DCASE 2023 Task 4 Challenge).
◦
Es necesario verificar la generalización a otros conjuntos de datos SED o modelos SSL más diversos.
◦
Se necesita más investigación sobre la aplicabilidad y el rendimiento de generalización de los nSEBB.
◦
Falta de análisis del coste computacional y la complejidad del marco de fusión propuesto.
👍
Made with Slashpage