Lalkarstwo z emocjonalnym głosem
Author
Venue
IEEE VR 2023/TVCG
Abstract
Artykuł przedstawia emocjonalną animację głosową, czyli oparte na dźwięku podejście do animacji twarzy, które pozwala przedstawiać postacie z wyraźnymi zmianami emocjonalnymi. Ruchy warg i otaczających je obszarów twarzy są kontrolowane przez treść dźwięku, a dynamika twarzy jest ustalana na podstawie kategorii emocji i ich intensywności. Nasze podejście jest wyjątkowe, ponieważ uwzględnia walidację percepcyjną i geometrię zamiast czystych procesów geometrycznych. Kolejną zaletą naszego podejścia jest możliwość uogólnienia na wiele postaci. Wyniki badań wykazały, że szkolenie nowych postaci drugoplanowych, gdy parametry rigów są podzielone na kategorie: oczy, brwi, nos, usta i charakterystyczne zmarszczki, ma istotne znaczenie dla osiągnięcia lepszych wyników uogólnienia w porównaniu ze szkoleniem łącznym. Badania użytkowników wykazują skuteczność naszego podejścia zarówno pod względem jakościowym, jak i ilościowym. Nasze podejście może znaleźć zastosowanie w AR/VR i 3DUI, a mianowicie w awatarach wirtualnej rzeczywistości/awatarach własnych, telekonferencjach i dialogach w grach.
