Marionetismo com Voz Emocional
Author
Venue
IEEE VR 2023/TVCG
Abstract
O artigo apresenta a marionetaria de voz emocional, uma abordagem de animação facial baseada em áudio para retratar personagens com mudanças emocionais vívidas. O movimento dos lábios e as áreas faciais circundantes são controlados pelo conteúdo do áudio, e a dinâmica facial é estabelecida pela categoria da emoção e pela intensidade. Nossa abordagem é exclusiva porque leva em conta a validade perceptiva e a geometria, em vez de processos puramente geométricos. Outro destaque de nossa abordagem é a generalização para múltiplos personagens. Os resultados mostraram que o treinamento de novos personagens secundários, quando os parâmetros do rig são categorizados como olhos, sobrancelhas, nariz, boca e rugas características, é significativo para alcançar melhores resultados de generalização em comparação com o treinamento conjunto. Estudos com usuários demonstram a eficácia de nossa abordagem tanto qualitativa quanto quantitativamente. Nossa abordagem pode ser aplicada em AR/VR e 3DUI, a saber, avatares de realidade virtual/auto-avatares, teleconferências e diálogos em jogos.
