Nội dung trên trang web này đã được dịch bằng trí tuệ nhân tạo (AI) hoặc công nghệ dịch máy và có thể có lỗi.

Skip to content
Human Computer Interaction

Chuyển đổi tự động video nhạc thành video lời bài hát

View Publication

Author

Jiaju Ma (Stanford), Anyi Rao (Stanford), Li-Yi Wei (Adobe), Rubaiat Habib Kazi (Adobe), Hijung Valentina Shin (Adobe) và Maneesh Agrawala (Stanford + Roblox)

Venue

UIST 2023

Abstract

Các nhạc sĩ và người hâm mộ thường sản xuất video lời bài hát, một dạng video âm nhạc trình chiếu lời bài hát, cho những bài hát yêu thích của họ. Tuy nhiên, việc tạo ra những video như vậy có thể gặp nhiều thách thức và tốn thời gian vì lời bài hát cần được thêm vào một cách đồng bộ và hài hòa về mặt hình ảnh với video. Dựa trên các nghiên cứu trước đây và phân tích kỹ lưỡng các video lời bài hát hiện có, chúng tôi đề xuất một bộ hướng dẫn thiết kế để hỗ trợ các nhà sáng tạo tạo ra những video này. Các nguyên tắc của chúng tôi đảm bảo tính dễ đọc của văn bản lời bài hát đồng thời duy trì sự tập trung chú ý thống nhất. Chúng tôi triển khai các nguyên tắc này trong một quy trình tự động hoàn toàn, chuyển đổi video âm nhạc đầu vào thành video lời bài hát. Chúng tôi chứng minh độ tin cậy của quy trình này bằng cách tạo ra các video lời bài hát từ nhiều nguồn đầu vào đa dạng. Một nghiên cứu người dùng cho thấy các video lời bài hát do quy trình của chúng tôi tạo ra hiệu quả trong việc duy trì tính dễ đọc của văn bản và thống nhất sự tập trung chú ý.