O conteúdo deste site foi traduzido usando inteligência artificial (IA) ou tecnologia de tradução automática e pode conter erros.

Skip to content
Human Computer Interaction

Conversão automatizada de videoclipes em vídeos com letras

View Publication

Author

Jiaju Ma (Stanford), Anyi Rao (Stanford), Li-Yi Wei (Adobe), Rubaiat Habib Kazi (Adobe), Hijung Valentina Shin (Adobe) e Maneesh Agrawala (Stanford + Roblox)

Venue

UIST 2023

Abstract

Músicos e fãs costumam produzir vídeos com letras, uma forma de videoclipe que exibe a letra da música, para suas canções favoritas. No entanto, a produção desses vídeos pode ser desafiadora e demorada, pois as letras precisam ser adicionadas em sincronia e harmonia visual com o vídeo. Com base em trabalhos anteriores e na análise detalhada de vídeos com letras existentes, propomos um conjunto de diretrizes de design para ajudar os criadores a produzir esses vídeos. Nossas diretrizes garantem a legibilidade do texto da letra, mantendo um foco de atenção unificado. Implementamos essas diretrizes em um pipeline totalmente automatizado que converte um videoclipe de entrada em um vídeo com letra. Demonstramos a robustez do nosso pipeline gerando vídeos com letra a partir de uma ampla variedade de fontes de entrada. Um estudo com usuários mostra que os vídeos com letra gerados pelo nosso pipeline são eficazes em manter a legibilidade do texto e unificar o foco de atenção.