Duygusal Ses Kuklacılığı
Author
Venue
IEEE VR 2023/TVCG
Abstract
Bu makale, karakterleri canlı duygusal değişikliklerle tasvir etmek için ses tabanlı bir yüz animasyonu yaklaşımı olan duygusal ses kuklacılığını sunmaktadır. Dudak hareketleri ve çevresindeki yüz bölgeleri ses içeriği tarafından kontrol edilirken, yüz dinamikleri duygu kategorisi ve yoğunluğuna göre belirlenir. Yaklaşımımız, salt geometrik süreçler yerine algısal geçerlilik ve geometriyi dikkate alması nedeniyle benzersizdir. Yaklaşımımızın bir diğer öne çıkan özelliği ise birden fazla karaktere genellenebilir olmasıdır. Bulgular, rig parametrelerinin göz, kaş, burun, ağız ve karakteristik kırışıklıklar olarak kategorize edildiği durumlarda, yeni ikincil karakterlerin eğitilmesinin, ortak eğitime kıyasla daha iyi genelleştirme sonuçları elde etmede önemli olduğunu göstermiştir. Kullanıcı çalışmaları, yaklaşımımızın hem niteliksel hem de niceliksel olarak etkinliğini ortaya koymaktadır. Yaklaşımımız, AR/VR ve 3DUI, yani sanal gerçeklik avatarları/kendi avatarları, telekonferans ve oyun içi diyaloglarda uygulanabilir.
