Speech & Audio
3D
情感之聲木偶劇
Author
Venue
IEEE VR 2023/TVCG
Abstract
本文提出「情緒語音木偶」技術，這是一種基於音訊的面部動畫方法，旨在呈現角色生動的情緒變化。嘴唇的動作及其周圍的面部區域由音訊內容控制，而面部動態則根據情緒類別與強度來建立。本方法的獨特之處在於，它同時考量了知覺有效性與幾何結構，而非僅依賴純粹的幾何運算。本方法的另一項亮點在於其能泛化應用於多個角色。 研究結果顯示，當骨架參數被分類為眼睛、眉毛、鼻子、嘴巴及特徵皺紋時，針對新次要角色進行訓練，相較於聯合訓練，能顯著提升泛化效果。使用者研究從定性與定量兩方面均證實了本方法的有效性。本方法可應用於 AR/VR 及 3DUI 領域，例如虛擬實境化身／自我化身、視訊會議以及遊戲內對話。
