ImprovNet -- Generating Controllable Musical Improvisations with Iterative Corruption Refinement
Created by
Haebom
저자
Keshav Bhandari, Sungkyun Chang, Tongyu Lu, Fareza R. Enus, Louis B. Bradshaw, Dorien Herremans, Simon Colton
개요
본 논문은 다양한 음악 장르에 걸쳐 제어 가능한 수준의 음악 스타일 변환을 생성하는 어려움을 해결하기 위해, Transformer 기반 아키텍처인 ImprovNet을 제시합니다. ImprovNet은 자기 지도 학습 방식의 손상-복구 전략을 통해 표현력 있고 제어 가능한 음악 즉흥 연주를 생성합니다. 멜로디, 화성, 리듬 등 하나 이상의 음악 요소를 대상 장르에 맞게 의미 있게 수정하는 즉흥 연주 스타일 변환을 목표로 합니다. ImprovNet은 장르 간 및 장르 내 즉흥 연주, 장르 특유의 스타일을 사용한 멜로디 화성화, 짧은 프롬프트 연속 및 채우기 작업 등 여러 기능을 단일 모델로 통합합니다. 반복적인 생성 프레임워크를 통해 사용자는 스타일 변환 정도와 원곡과의 구조적 유사성을 제어할 수 있습니다. 객관적 및 주관적 평가를 통해 ImprovNet이 음악적으로 일관성 있는 즉흥 연주를 생성하면서 원곡과의 구조적 관계를 유지하는 데 효과적임을 보여줍니다. 짧은 연속 및 채우기 작업에서 Anticipatory Music Transformer를 능가하며, 클래식 음악 작품의 재즈 스타일 즉흥 연주를 79%의 참가자가 정확하게 식별하는 등 장르 변환을 성공적으로 수행합니다. 코드와 데모 페이지는 https://github.com/keshavbhandari/improvnet 에서 확인할 수 있습니다.