Speech & Audio
3D
감정 표현 인형극
Author
Venue
IEEE VR 2023/TVCG
Abstract
본 논문은 생생한 감정 변화를 지닌 캐릭터를 표현하기 위한 오디오 기반 얼굴 애니메이션 기법인 '감정 음성 퍼펫리(emotional voice puppetry)'를 제시한다. 입술 움직임과 주변 얼굴 부위는 오디오의 내용에 따라 제어되며, 얼굴의 역동성은 감정의 범주와 강도에 따라 결정된다. 본 접근 방식은 순수한 기하학적 과정 대신 지각적 타당성과 기하학적 특성을 모두 고려한다는 점에서 독창적이다. 또한 본 접근 방식의 또 다른 특징은 여러 캐릭터에 대한 일반화 가능성이다. 연구 결과에 따르면, 리그 파라미터를 눈, 눈썹, 코, 입, 특징적인 주름으로 분류하여 새로운 보조 캐릭터를 훈련시키는 것이 공동 훈련에 비해 더 나은 일반화 결과를 얻는 데 중요한 것으로 나타났다. 사용자 연구는 본 접근법의 효과성을 정성적 및 정량적으로 입증한다. 본 접근법은 AR/VR 및 3DUI, 즉 가상 현실 아바타/자기 아바타, 화상 회의, 게임 내 대화 등에 적용될 수 있다.
