Marionnettes à voix émotionnelle
Author
Venue
IEEE VR 2023/TVCG
Abstract
Cet article présente la « marionnette vocale émotionnelle », une approche d'animation faciale basée sur l'audio visant à représenter des personnages présentant des changements émotionnels saisissants. Le mouvement des lèvres et des zones faciales environnantes est contrôlé par le contenu audio, et la dynamique faciale est déterminée par la catégorie de l'émotion et son intensité. Notre approche est unique car elle tient compte de la validité perceptuelle et de la géométrie plutôt que de se limiter à de purs processus géométriques. Un autre point fort de notre approche est sa généralisation à plusieurs personnages. Les résultats ont montré que l'entraînement de nouveaux personnages secondaires lorsque les paramètres du rig sont classés en catégories (yeux, sourcils, nez, bouche et rides caractéristiques) est significatif pour obtenir de meilleurs résultats de généralisation par rapport à l'entraînement conjoint. Des études menées auprès d'utilisateurs démontrent l'efficacité de notre approche tant sur le plan qualitatif que quantitatif. Notre approche peut être appliquée à la RA/RV et à l'interface utilisateur 3D, notamment aux avatars de réalité virtuelle/auto-avatars, à la téléconférence et aux dialogues dans les jeux vidéo.
