Burattini dalla voce emozionante
Author
Venue
IEEE VR 2023/TVCG
Abstract
Il documento presenta l'emotional voice puppetry, un approccio di animazione facciale basato sull'audio per rappresentare personaggi con vividi cambiamenti emotivi. Il movimento delle labbra e delle aree facciali circostanti è controllato dal contenuto dell'audio, mentre le dinamiche facciali sono stabilite in base alla categoria dell'emozione e alla sua intensità. Il nostro approccio è esclusivo perché tiene conto della validità percettiva e della geometria invece che di puri processi geometrici. Un altro punto di forza del nostro approccio è la generalizzabilità a più personaggi. I risultati hanno dimostrato che l'addestramento di nuovi personaggi secondari, quando i parametri del rig sono classificati in occhi, sopracciglia, naso, bocca e rughe caratteristiche, è significativo per ottenere risultati di generalizzazione migliori rispetto all'addestramento congiunto. Gli studi sugli utenti dimostrano l'efficacia del nostro approccio sia dal punto di vista qualitativo che quantitativo. Il nostro approccio può essere applicato in AR/VR e 3DUI, ovvero avatar di realtà virtuale/auto-avatar, teleconferenze e dialoghi nei videogiochi.
