এই সাইটের বিষয়বস্তু কৃত্রিম বুদ্ধিমত্তা (AI) বা মেশিন অনুবাদ প্রযুক্তি ব্যবহার করে অনুবাদ করা হয়েছে এবং ত্রুটি থাকতে পারে।

Skip to content
Human Computer Interaction

মিউজিক ভিডিওর স্বয়ংক্রিয় রূপান্তর লিরিক ভিডিওতে

View Publication

Author

জিয়াজু মা (স্ট্যানফোর্ড), আনই রাও (স্ট্যানফোর্ড), লি-ই ওয়েই (অ্যাডোবি), রুবাইয়াত হাবিব কাজী (অ্যাডোবি), হিজুং ভ্যালেন্টিনা শিন (অ্যাডোবি), এবং মনীষ আগরওয়াল (স্ট্যানফোর্ড + রবলোক্স)

Venue

ইউআইএসটি ২০২৩

Abstract

সঙ্গীতশিল্পী ও ভক্তরা প্রায়ই তাদের প্রিয় গানের জন্য লিরিক ভিডিও তৈরি করেন, যা একটি ধরনের মিউজিক ভিডিও যেখানে গানের কথাগুলো প্রদর্শিত হয়। তবে, এই ধরনের ভিডিও তৈরি করা চ্যালেঞ্জিং এবং সময়সাপেক্ষ হতে পারে, কারণ গানের কথাগুলো ভিডিওর সাথে তাল মিলিয়ে এবং দৃশ্যগত সামঞ্জস্য বজায় রেখে যুক্ত করতে হয়। পূর্ববর্তী কাজ এবং বিদ্যমান লিরিক ভিডিওগুলোর নিবিড় পর্যালোচনার ভিত্তিতে, আমরা নির্মাতাদের এই ধরনের ভিডিও তৈরি করতে সহায়তা করার জন্য একটি ডিজাইন নির্দেশিকা প্রস্তাব করছি। আমাদের নির্দেশিকাগুলি গানের লিরিকের পাঠযোগ্যতা নিশ্চিত করার পাশাপাশি মনোযোগের একীভূত কেন্দ্রবিন্দু বজায় রাখে। আমরা এই নির্দেশিকাগুলিকে একটি সম্পূর্ণ স্বয়ংক্রিয় পাইপলাইনে বাস্তবায়ন করেছি যা ইনপুট মিউজিক ভিডিওকে লিরিক ভিডিওতে রূপান্তর করে। আমরা বিভিন্ন ধরনের ইনপুট উৎস থেকে লিরিক ভিডিও তৈরি করে আমাদের পাইপলাইনের দৃঢ়তা প্রদর্শন করেছি। একটি ব্যবহারকারী গবেষণা দেখিয়েছে যে আমাদের পাইপলাইন দ্বারা তৈরি লিরিক ভিডিওগুলি পাঠযোগ্যতা বজায় রাখতে এবং মনোযোগের একীভূত কেন্দ্রবিন্দু গড়ে তুলতে কার্যকর।