Emotionale Stimmpuppenspielkunst
Author
Venue
IEEE VR 2023/TVCG
Abstract
Der Artikel stellt „Emotional Voice Puppetry“ vor, einen audiobasierten Ansatz zur Gesichtsanimation, mit dem Charaktere mit lebhaften emotionalen Veränderungen dargestellt werden können. Die Lippenbewegung und die umgebenden Gesichtsbereiche werden durch den Inhalt des Audios gesteuert, und die Gesichtsdynamik wird durch die Kategorie der Emotion und deren Intensität bestimmt. Unser Ansatz ist einzigartig, da er neben rein geometrischen Prozessen auch die Wahrnehmungsvalidität und Geometrie berücksichtigt. Ein weiterer Schwerpunkt unseres Ansatzes ist die Generalisierbarkeit auf mehrere Charaktere. Die Ergebnisse zeigten, dass das Training neuer Nebencharaktere, wenn die Rig-Parameter in Augen, Augenbrauen, Nase, Mund und charakteristische Falten kategorisiert werden, im Vergleich zum gemeinsamen Training entscheidend für bessere Generalisierungsergebnisse ist. Anwenderstudien belegen die Wirksamkeit unseres Ansatzes sowohl qualitativ als auch quantitativ. Unser Ansatz ist in AR/VR und 3DUI anwendbar, insbesondere bei Virtual-Reality-Avataren/Selbst-Avataren, Telekonferenzen und Dialogen in Spielen.
