Emotionele stemmen in het poppenspel
Author
Venue
IEEE VR 2023/TVCG
Abstract
Het artikel presenteert emotionele stem-poppenkunst, een op audio gebaseerde benadering van gezichtsanimatie om personages met levendige emotionele veranderingen weer te geven. De lipbewegingen en de omliggende gezichtsgebieden worden gestuurd door de inhoud van de audio, en de gezichtsdynamiek wordt bepaald door de categorie van de emotie en de intensiteit. Onze benadering is uniek omdat deze rekening houdt met perceptuele validiteit en geometrie in plaats van puur geometrische processen. Een ander hoogtepunt van onze benadering is de generaliseerbaarheid naar meerdere personages. De bevindingen toonden aan dat het trainen van nieuwe secundaire personages wanneer de rig-parameters zijn gecategoriseerd als ogen, wenkbrauwen, neus, mond en kenmerkende rimpels, significant is voor het bereiken van betere generalisatieresultaten in vergelijking met gezamenlijke training. Gebruikersonderzoeken tonen de effectiviteit van onze benadering zowel kwalitatief als kwantitatief aan. Onze benadering kan worden toegepast in AR/VR en 3DUI, namelijk virtual reality-avatars/zelf-avatars, teleconferenties en dialogen in games.
