Google Bikin Vlogger, AI untuk Sulap Foto Jadi Hidup dan Berbicara

Hasil akhirnya, Google Vlogger bisa mengubah foto statis menjadi sebuah video pendek yang bisa bergerak dan berbicara. 

Salah satu aplikasi utama model ini adalah pada terjemahan video. Dalam hal ini, AI Vlogger mengambil video yang ada dalam bahasa tertentu, dan mengedit area bibir dan wajah agar konsisten dengan audio baru, misalnya, bahasa Spanyol.

Teknologi ini mirip dengan tren aplikasi MyHeritage pada 2021 lalu. Situs silsilah keluarga MyHeritage, menyediakan sebuah fitur yang disebut dengan Deep Nostalgia.

Fungsinya adalah untuk menyulap wajah orang dalam foto menjadi seolah hidup, bisa bergerak dan menampilkan gerakan dalam video animasi singkat.

Ketika itu, fitur Deep Nostalgia MyHeritage banyak digunakan untuk "menghidupkan" foto orang tercinta atau anggota keluarga yang sudah wafat.

Model difusi belakang banyak digunakan oleh perusahaan AI untuk menghasilkan gambar yang realistis dari deskripsi teks.

Nah, peneliti Google kini memperluas pemanfaatan model difusi ke video. Dengan melatih kumpulan data baru yang luas, tim ini mampu menciptakan sistem AI yang dapat menghidupkan foto menjadi video bergerak yang cukup realistis.

Model AI mengambil foto seseorang dan klip audio sebagai input data. Selanjutnya, model difusi mengolah data dan menghasilkan (generate) video pendek yang cocok dengan gambar dan audio tersebut.

Hasilnya, subjek mengucapkan kata-kata sesuai audio yang di-input, lengkap dengan gerakan bibir yang menyesuaikan.

Tak hanya itu, dalam video, subjek juga terlihat menampilkan ekspresi wajah, gerakan kepala, dan gerakan tangan yang sesuai. Contoh foto yang disulap menjadi video dengan VLOGGER bisa dilihat melalui link berikut.

Untuk mendapatkan hasil yang realistis, Google melatih model difusi dengan kumpulan data besar baru yang disebut MENTOR, berisi lebih dari 800.000 identitas berbeda dan 2.200 jam video.

Dengan kumpulan data tersebut, VLOGGER belajar membuat video orang-orang dengan beragam etnis, usia, pakaian, pose, dan lingkungan sekitar tanpa bias, sebagaimana dihimpun KompasTekno dari TomsGuide, Rabu (20/3/2024).

Teknologi AI baru Google ini juga masih memiliki beberapa keterbatasan. Misalnya, video yang dihasilkan relatif pendek dan memiliki latar belakang statis.

Subjek tidak bergerak dalam lingkungan 3D. Di samping itu, tingkah laku serta pola bicara sibjek, meskipun realistis, masih bisa dibedakan dengan manusia sebenarnya.

Google Vlogger saat ini masih berupa produk pratinjau, bukan produk siap rilis. Untuk mengetahui lebih lanjut soal AI ini, kalian bisa membaca jurnal yang ditulis oleh tim peneliti Google bertajuk "VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis" atau lewat link berikut.