เนื้อหาในเว็บไซต์นี้ได้รับการแปลโดยใช้ปัญญาประดิษฐ์ (AI) หรือเทคโนโลยีการแปลด้วยเครื่อง และอาจมีข้อผิดพลาด

Skip to content
Human Computer Interaction

การแปลงวิดีโอเพลงเป็นวิดีโอเนื้อเพลงโดยอัตโนมัติ

View Publication

Author

เจียจู หม่า (สแตนฟอร์ด), อันยี เรา (สแตนฟอร์ด), หลี่-อี้ เว่ย (อะโดบี), รูไบอาต ฮาบิบ คาซี (อะโดบี), ฮิจุง วาเลนตินา ชิน (อะโดบี), และ มานีช อักราวาล่า (สแตนฟอร์ด + ร็อบบล็อคส์)

Venue

UIST 2023

Abstract

นักดนตรีและแฟนเพลงมักผลิตวิดีโอเนื้อเพลง ซึ่งเป็นรูปแบบหนึ่งของมิวสิกวิดีโอที่แสดงเนื้อเพลงของเพลงโปรดของพวกเขา อย่างไรก็ตาม การสร้างวิดีโอดังกล่าวอาจเป็นเรื่องท้าทายและใช้เวลามาก เนื่องจากเนื้อเพลงต้องถูกเพิ่มให้สอดคล้องและกลมกลืนกับวิดีโออย่างลงตัว จากงานวิจัยก่อนหน้านี้และการตรวจสอบวิดีโอเนื้อเพลงที่มีอยู่ เราขอเสนอแนวทางในการออกแบบเพื่อช่วยผู้สร้างในการผลิตวิดีโอดังกล่าว แนวทางของเราช่วยให้ข้อความเนื้อเพลงอ่านได้ง่ายในขณะที่รักษาจุดสนใจที่เป็นหนึ่งเดียว เราใช้แนวทางเหล่านี้ในกระบวนการอัตโนมัติเต็มรูปแบบที่แปลงวิดีโอเพลงเป็นวิดีโอเนื้อเพลง เราแสดงให้เห็นถึงความแข็งแกร่งของกระบวนการของเราโดยการสร้างวิดีโอเนื้อเพลงจากแหล่งข้อมูลที่หลากหลาย การศึกษาผู้ใช้แสดงให้เห็นว่าวิดีโอเนื้อเพลงที่สร้างโดยกระบวนการของเรามีประสิทธิภาพในการรักษาความสามารถในการอ่านข้อความและรวมจุดสนใจให้เป็นหนึ่งเดียว