PianoVAM est un ensemble complet de données de performance pianistique couvrant plusieurs modes (vidéo, audio, MIDI, repères de main, notations du manche et métadonnées riches). Il a été enregistré sur un piano Disklavier lors de séances d'entraînement quotidiennes par des pianistes amateurs, capturant des données audio et MIDI ainsi que des vidéos synchronisées en vue de dessus dans divers environnements de performance réels. Les repères de main et les notations du manche ont été extraits à l'aide d'un modèle d'estimation de la posture des mains pré-entraîné et d'un algorithme de notation du manche semi-automatique. Nous abordons les difficultés rencontrées lors de la collecte et de l'alignement des données entre différents modes, ainsi qu'une méthode de notation du manche basée sur des repères de main extraits de vidéos. Nous présentons des résultats de référence pour la transcription de piano audio et audiovisuelle à l'aide de l'ensemble de données PianoVAM, et abordons d'autres applications potentielles.
