[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

WildFX: Un pipeline basado en DAW para modelado gráfico de efectos de audio en la naturaleza

Created by
  • Haebom

Autor

Qihui Yang, Taylor Berg-Kirkpatrick, Julian McAuley, Zachary Novack

Describir

Este artículo aborda el problema de que, a pesar del rápido progreso en la generación integral de música con IA, el modelado de flujos de trabajo profesionales de procesamiento digital de señales (DSP) con IA sigue siendo un desafío. En particular, si bien existe un creciente interés en el modelado de caja negra de redes neuronales de gráficos de efectos de audio como reverberación, compresión y ecualización, los enfoques basados en IA tienen dificultades para replicar los sutiles flujos de señal y las interacciones de parámetros que se utilizan en los flujos de trabajo profesionales. Los enfoques existentes de plugins diferenciables a menudo se desvían de las herramientas del mundo real y tienen un rendimiento inferior al de los controladores de redes neuronales simplificados bajo las mismas restricciones computacionales. En este artículo, presentamos WildFX, una canalización basada en Docker para generar conjuntos de datos de mezcla de audio multipista con gráficos de efectos enriquecidos, basada en un backend de estación de trabajo de audio digital (DAW) profesional. WildFX se integra a la perfección con plugins comerciales multiplataforma o de otro tipo en formatos VST/VST3/LV2/CLAP para soportar complejidades estructurales como cadenas laterales y cruces, y logra un procesamiento paralelo eficiente. Una interfaz de metadatos minimalista simplifica la configuración del proyecto/plugin. Validamos el pipeline mediante experimentos que demuestran gráficos de mezcla, estimación ciega de parámetros de plugin/ganancia y la capacidad de conectar la investigación en IA con los requisitos reales del DSP. El código está disponible en https://github.com/IsaacYQH/WildFX .

Takeaways, Limitations

•
Takeaways:
◦
Presentamos WildFX, un nuevo canal para la generación de música con IA y el modelado del flujo de trabajo DSP aprovechando un backend DAW profesional.
◦
Refleja entornos DSP reales y maneja la complejidad estructural mediante el soporte de varios formatos de complementos (VST/VST3/LV2/CLAP)
◦
Rendimiento mejorado mediante un procesamiento paralelo eficiente
◦
Validación de pipeline mediante gráficos de mezcla, estimación de parámetros de ganancia/complemento, etc.
◦
Contribuye a cerrar la brecha entre la investigación de IA y los requisitos de DSP del mundo real
•
Limitations:
◦
Falta de análisis comparativo cuantitativo de cómo funciona WildFX en comparación con otros enfoques.
◦
Falta de discusión sobre la cantidad y calidad de los datos necesarios para modelar completamente flujos de trabajo DSP complejos.
◦
Falta de generalización en la evaluación del desempeño en conjuntos de datos de varios géneros y estilos musicales.
👍
Made with Slashpage