या साइटवरील सामग्री कृत्रिम बुद्धिमत्ता (AI) किंवा मशीन भाषांतर तंत्रज्ञानाचा वापर करून भाषांतरित केली आहे आणि त्यात त्रुटी असू शकतात.

Skip to content
Human Computer Interaction

संगीत व्हिडिओंचे गीत व्हिडिओंमध्ये स्वयंचलित रूपांतरण

View Publication

Author

जियाजू मा (स्टॅनफोर्ड), अनी राव (स्टॅनफोर्ड), ली-यी वेई (अॅडोबी), रुबियात हबीब काजी (अॅडोबी), हिजंग व्हॅलेंटिना शिन (अॅडोबी), आणि मनीष अग्रवाला (स्टॅनफोर्ड + रॉब्लॉक्स)

Venue

UIST 2023

Abstract

संगीतकार आणि चाहते त्यांच्या आवडत्या गाण्यांसाठी लिरिक व्हिडिओ तयार करतात, जे गाण्याच्या शब्दांना प्रदर्शित करणारे संगीत व्हिडिओचे एक रूप आहे. तथापि, अशा व्हिडिओंची निर्मिती आव्हानात्मक आणि वेळखाऊ असू शकते कारण शब्दांना व्हिडिओसोबत समक्रमित आणि दृश्य समरसतेत जोडणे आवश्यक असते. पूर्वीच्या कामावरून आणि विद्यमान लिरिक व्हिडिओंच्या सखोल तपासणीवरून, आम्ही निर्मात्यांना अशा व्हिडिओ तयार करण्यात मदत करण्यासाठी डिझाइन मार्गदर्शक तत्त्वांचा संच प्रस्तावित करतो. आमच्या मार्गदर्शक तत्त्वांमुळे गीतपाठाची वाचनीयता सुनिश्चित होते आणि त्याचवेळी लक्ष केंद्रीत करण्याची एकसंधता टिकून राहते. आम्ही ही मार्गदर्शक तत्त्वे एका पूर्णपणे स्वयंचलित पाइपलाइनमध्ये अमलात आणली आहेत, जी इनपुट संगीत व्हिडिओला गीत व्हिडिओमध्ये रूपांतरित करते. विविध इनपुट स्रोतांमधून गीत व्हिडिओ तयार करून आम्ही आमच्या पाइपलाइनची मजबुती सिद्ध करतो. एका वापरकर्ता अभ्यासात असे आढळले की आमच्या पाइपलाइनद्वारे तयार केलेली गीत व्हिडिओ मजकूराची वाचनीयता टिकवून ठेवण्यात आणि लक्ष केंद्रीत करण्याची एकसंधता राखण्यात प्रभावी ठरतात.