EMO (Emotive Portrait Alive) của tập đoàn Alibaba (trụ sở chính tại Hàng Châu, Trung Quốc) được coi như là bước tiến mới của AI tạo sinh. EMO được nhóm tác giả LinRui Tian, Qi Wang, LieFeng Bo và Bang Zhang của Viện Điện toán Thông minh (IIC) thuộc Alibaba nghiên cứu. Theo đó, AI này có khả năng tạo biểu cảm và âm thanh từ nhân vật trong ảnh. Với bất kỳ hình ảnh tĩnh nào, AI này đều có thể biến nó thành video có nói, hát với biểu cảm tự nhiên.
Thậm chí, EMO của Alibaba còn có thể tạo nét mặt, nhíu mắt và lắc lư theo điệu nhạc. Phần miệng của nhân vật cũng được AI thể hiện một cách tự nhiên.
Trong một số video được Alibaba công bố, hình ảnh sẽ được biến thành video và hát những bài được nhập vào một cách nhanh chóng. Ngoài tiếng Anh, tiếng Trung, EMO cũng có thể hỗ trợ được nhiều ngôn ngữ khác.
Alibaba presents EMO AI – All Demo Clips Upscaled to 4K
Đại diện của nhóm nghiên cứu cho biết, họ đã huấn luyện AI với một lượng lớn dữ liệu về hình ảnh, âm thanh, vieo để tạo biểu cảm khuôn mặt một cách chân thực, thông qua mô hình khuếch tán riêng có tên là Audio2Video.
Phương pháp được nhóm nghiên cứu của Alibaba áp dụng là tổng hợp, bỏ qua liên kết về mô hình 3D không gian hoặc những điểm mốc trên khuôn mặt và chuyển tiếp khung hình liền mạch để bảo toàn về tính nhất quán trong video, từ đó mang lại những bức ảnh động có tính biểu cảm cao, sống động như thật.
Từ một bức ảnh tĩnh, EMO của Alibaba có thể “hô biến” thành những video với biểu cảm tự nhiên và sống động. Ảnh cắt từ video
Hiện nay, dù dữ liệu của EMO đã được công bố trên Github, nhưng Alibaba vẫn chưa tiết lộ về thời gian phát hành đại trà AI này.
Với sự phát triển của EMO, nhiều người cho rằng AI này có thể góp phần làm thay đổi cách sản xuất phim ảnh và sản xuất nội dung hình ảnh khác ở Trung Quốc trong tương lai không xa.
Ngày 11/3 vừa qua, Alibaba thông báo sẽ đầu tư ít nhất là 5 tỷ HKD (khoảng 640 triệu USD) vào lĩnh vực giải trí Hồng Kông (Trung Quốc) trong 5 năm tới để hỗ trợ và tăng cường việc sản xuất phim ảnh và những nội dung hình ảnh khác. Thông báo bất ngờ này được đưa ra ở Chợ phim và truyền hình quốc tế Hồng Kông (Filmart), một triển lãm thương mại phim và video lớn được khai mạc tại thành phố này vào ngày 11/3.
Tập đoàn Alibaba cho biết, khoản hỗ trợ 640 triệu USD sẽ được dùng để sản xuất phim, phim truyền hình và nghệ thuật thị giác khác, đồng thời để phát triển nguồn nhân lực (trong đó có học bổng cho sinh viên học làm phim).
Tập đoàn Alibaba đang đón đầu làn sóng đầu tư vào AI ở Trung Quốc. Ảnh: Bloomberg
Speak Your Mind