Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Explorando las ventajas y desventajas del diseño de adaptadores para la generación de música con bajos recursos

Created by
  • Haebom

Autor

Atharva Mehta, Shivam Chauhan, Monojit Choudhury

Describir

Este artículo estudia técnicas de ajuste fino con eficiencia de parámetros (PEFT), en particular métodos basados en adaptadores, para modelos de generación musical a gran escala como MusicGen y Mustango. Exploramos diseños óptimos de adaptadores comparando diversas configuraciones (arquitectura, diseño y tamaño) para dos géneros musicales con recursos limitados: música clásica indostánica y música makam turca. Observamos que los adaptadores basados en convolución destacan en la precisión de los detalles musicales, mientras que los adaptadores basados en transformadores preservan mejor las dependencias a largo plazo. Además, observamos que un adaptador de tamaño mediano (40 millones de parámetros) ofrece el equilibrio óptimo entre expresividad y calidad. Mustango (un modelo basado en difusión) ofrece una excelente diversidad, pero presenta inestabilidad, mientras que MusicGen (un modelo autorregresivo) se entrena rápidamente y produce artefactos de alta calidad, aunque con cierta redundancia.

Takeaways, Limitations

Takeaways:
Los adaptadores basados en convolución son efectivos para expresiones musicales detalladas (adornos, melodías cortas), mientras que los adaptadores basados en transformadores son efectivos para mantener dependencias a largo plazo.
Un adaptador de tamaño mediano con aproximadamente 40M de parámetros funciona de manera óptima en términos de expresividad y calidad.
Análisis comparativo de las fortalezas y debilidades de los modelos MusicGen y Mustango para proporcionar pautas para la selección de modelos.
Limitations:
Los géneros estudiados se limitaron a la música clásica indostánica y a la música makam turca.
La generalización a otros géneros musicales con bajos recursos requiere más estudios.
👍