Tool AI Baru Microsoft Bisa Bikin Video Deepfake Hanya dari Foto

KOMPAS.com - Microsoft Research Asia, divisi penelitian Microsoft di kawasan Asia-Pasifik, baru-baru ini memperkenalkan tool AI eksperimen teranyar mereka yang mampu membuat deepfake secara instan dan diberi nama VASA-1.

VASA-1 yang merupakan kepanjangan dari Visual Affective Skills Animator bekerja dengan menggunakan gambar diam atau lukisan seseorang dan memadukannya dengan file audio, sehingga menghasilkan wajah seseorang yang dapat berbicara seperti aslinya.

Tool AI eksperimen baru ini juga dapat melakukan berbagai macam hal, seperti menirukan gerakan kepala seseorang, ekspresi wajah dan gerakan bibir sedemikian rupa sehingga nampak seperti orang sungguhan yang sedang berbicara atau bernyanyi.

Seperti yang dapat dilihat dalam laman resmi Microsoft, banyak contoh video yang dihasilkan dari tool ini, termasuk orang-orang yang bernyanyi dan berbicara selaras dengan trek audio yang telah direkam sebelumnya.

Baca juga: Karyawan Tertipu Deepfake, Perusahaan Rugi Rp 403 Miliar

Para peneliti melatih VASA-1 dengan dataset VoxCeleb2 yang dibuat pada 2018 oleh tiga peneliti dari Universitas Oxford. Dataset tersebut berisi "lebih dari 1 juta ucapan dari 6.112 selebritas", menurut situs web VoxCeleb2, yang diekstrak dari video unggahan di YouTube.

Di laman resminya, perusahaan tersebut mengeklaim bahwa metode animasi ucapannya saat ini secara signifikan mampu mengungguli metode sebelumnya di berbagai hal, seperti keaslian, ekspresi dan efisiensi berkat pengujian yang ekstensif.

Microsoft menyebutkan metodenya ini tidak hanya menghasilkan kualitas video tinggi dengan dinamika kepala dan wajah yang realistis, tetapi juga mendukung pembuatan video beresolusi 512 x 512 secara online hingga 40 fps.

Microsoft juga menyebut teknologinya ini bermanfaat untuk meningkatkan kesetaraan pendidikan, meningkatkan aksesibilitas bagi individu yang memiliki tantangan komunikasi serta menawarkan pendampingan atau dukungan terapi bagi mereka yang membutuhkan.

Sadar rawan disalahgunakan

Meski canggih, Microsoft tidak berencana untuk merilis demo online, API, produk, detail implementasi tambahan, atau penawaran terkait tool ini, hingga mereka yakin bahwa teknologinya ini akan digunakan secara bertanggung jawab dan sesuai dengan regulasi yang berlaku.

Baca juga: X Twitter Blokir Pencarian Taylor Swift, Buntut Kasus Deepfake AI

Microsoft sadar bahwa teknologi ini rentan untuk disalahgunakan, oleh sebab itu mereka menentang segala bentuk perilaku dengan menggunakan konten yang bertujuan untuk menipu seseorang.

“Kami menentang perilaku apa pun untuk membuat konten yang menipu atau membahayakan orang sungguhan, dan tertarik untuk menerapkan teknik kami untuk mengembangkan deteksi pemalsuan” ujar Microsoft di laman resminya.

Adapun saat ini Microsoft menyatakan, sebagaimana dihimpun KompasTekno dari laman Microsoft, Selasa (23/4/2024), video yang dihasilkan masih mengandung artefak yang dapat diidentifikasi. Analisis numerik menunjukkan bahwa masih ada kesenjangan untuk mencapai keaslian video yang sebenarnya.

Deepfake sendiri merupakan bentuk pemanfaatan Artificial Intelligence (AI) untuk membuat foto, audio, atau video yang produknya memanipulasi kemiripan individu asli. Salah satu contohnya seperti aplikasi MyHeritage yang mampu membuat gambar diam menjadi bergerak seolah hidup

Baca juga: Jadi Korban Deepfake AI, Taylor Swift Siapkan Gugatan

Di sisi lain, teknologi ini juga termasuk dalam kategori AI yang menggunakan algoritma deep learning. Salah satu metode umum dalam pembuatan deepfake adalah melibatkan penggunaan jaringan deep neural yang menggunakan auto encoder untuk teknik pertukaran wajah.

Auto encoder merupakan program AI deep learning yang mempelajari dari klip video untuk memahami karakteristik individu dari berbagai perspektif dan kondisi lingkungan. Agar deepfake makin terlihat nyata, AI lain seperti Generative Adversarial Networks (GAN) juga ditambahkan.

Nantinya GAN bakal mendeteksi dan memperbaiki kekurangan apa saja di deepfake, sehingga membuat detektor deepfake kesulitan mengungkap keasliannya.