Conversion automatisée de clips musicaux en vidéos avec paroles
Author
Venue
UIST 2023
Abstract
Les musiciens et les fans produisent souvent des vidéos de paroles, une forme de clip vidéo qui met en avant les paroles de la chanson, pour leurs morceaux préférés. Cependant, la réalisation de telles vidéos peut s’avérer difficile et chronophage, car les paroles doivent être ajoutées en synchronisation et en harmonie visuelle avec la vidéo. En nous appuyant sur des travaux antérieurs et sur un examen approfondi des vidéos de paroles existantes, nous proposons un ensemble de directives de conception pour aider les créateurs à réaliser ce type de vidéos. Nos directives garantissent la lisibilité du texte des paroles tout en maintenant un centre d'attention unifié. Nous mettons en œuvre ces directives dans un pipeline entièrement automatisé qui convertit un clip vidéo d'entrée en clip vidéo avec paroles. Nous démontrons la robustesse de notre pipeline en générant des clips vidéo avec paroles à partir d'un large éventail de sources d'entrée. Une étude auprès des utilisateurs montre que les clips vidéo avec paroles générés par notre pipeline sont efficaces pour maintenir la lisibilité du texte et unifier le centre d'attention.
