OpenAI Kenalkan Sora, AI Pembuat Video Berdasar Teks

Sora merupakan model AI generatif teks ke video (text-to-video AI). Jadi, Sora memiliki kegunaan yang sama seperti model AI Runway, Pika, Google Lumiere, serta Make-A-Video dari Meta.

Perbedaannya, Sora disebut bisa membuat video AI berdurasi hingga satu menit, sambil mempertahankan kualitas video dan mematuhi instruksi pengguna.

Sebagai perbandingan, Runway punya durasi video 18 detik, Pika berdurasi 14 detik, Google Lumiere berdurasi 5 detik, dan Make-A-Video Meta berdurasi 5 detik.

Secara konten, OpenAI mengeklaim Sora dapat menciptakan video yang kompleks dengan sejumlah karakter, jenis gerakan tertentu, gaya tertentu (animasi, video photorealistic, black and white, dll), serta detail subjek dan latar belakang yang akurat.

Sora juga memahami bahasa dengan baik, sehingga bisa menafsirkan objek dengan akurat dan menghasilkan karakter yang terasa hidup.

Model AI ini tidak hanya mengerti apa yang diminta pengguna, tetapi juga mengetahui bagaimana objek atau subjek dalam instruksi pengguna hadir dalam kehidupan nyata.

Kegunaan lainnya, Sora dapat memperpanjang klip video secara cerdas.

Adapun contoh video AI Sora bisa dilihat di posting media sosial X (dahulu Twitter) di bawah ini.

Hasilnya bisa dibilang cukup baik. Sora bisa menciptakan video yang terlihat nyata dan terasa hidup, dilengkapi dengan detail lainnya seperti mobil yang melewati jalan serta berbagai orang yang sedang melalui kota Tokyo.

Namun, jika diperhatikan lebih saksama, pengguna bisa melihat kejanggalan video AI tersebut. Contohnya pada detik 0:03 yang mana seorang pejalan kaki tampak menembus pagar, dan pada detik 0:13 ketika seseorang jatuh dan menghilang dari video.

Hal ini sejalan dengan pernyataan OpenAI seputar kelemahan Sora. Menurutnya, model AI ini kemungkinkan kesulitan untuk menyimulasikan hukum fisika dari adegan kompleks secara akurat. Sora juga mungkin tidak memahami hubungan sebab dan akibat.

Sora disebut kadang tidak dapat membedakan antara kiri dan kanan, dan mungkin kesulitan dengan deskripsi yang mendetail terkait adegan yang terjadi seiring waktu, contohnya mengikuti lintasan kamera bak video Tokyo di atas.

"Misalnya, seseorang mungkin menggigit kue, tetapi setelah itu, kue tersebut mungkin tidak memiliki bekas gigitan," tulis perusahaan yang didirikan oleh Sam Altman itu lewat blog resminya.

Terlepas dari kelemahan itu, video AI yang dihasilkan oleh Sora terbilang sulit dibedakan dengan video nyata. Pengguna bisa melihat puluhan contoh video AI bikinan Sora lainnya lewat tautan berikut ini.

Masih pratinjau penelitian

OpenAI masih memosisikan Sora sebagai pratinjau penelitian.

Sora mengembangkan penelitian sebelumnya dari model Dall-e dan GPT. Model AI anyar ini menggunakan teknik recaptioning dari Dall-e 3, yang melibatkan pembuatan teks yang sangat deskriptif untuk data pelatihan visual.

Hasilnya, model AI ini dapat mengikuti instruksi pengguna dengan baik, sehingga video yang dihasilkan Sora lebih "nyambung" dengan perintah yang diberikan. Perusahaan AI tersebut menyebut bahwa Sora dilatih menggunakan kurang lebih 10.000 jam video berkualitas tinggi.

Sebagai model difusi, cara kerja Sora adalah membuat video yang tampak seperti derau statis (noise), kemudian secara bertahap menghilangkan derau tersebut. Seperti model GPT, Sora menggunakan arsitektur transformer sehingga membuka performa scaling yang baik.

Tersedia terbatas

Saat ini, Sora hanya tersedia untuk red teamer alias profesional dalam bidang keamanan siber. Red teamer diajak untuk menilai area kritis dari Sora untuk mengetahui bahaya atau risikonya, sebagaimana dikutip KompasTekno dari blog resmi OpenAI, Jumat (16/2/2024).

OpenAI juga memberikan akses untuk sejumlah seniman visual, desainer, dan pembuat film untuk mendapatkan umpan balik tentang cara mengembangkan model AI itu, agar lebih bermanfaat lagi untuk para profesional kreatif.

Nantinya, perusahaan di balik ChatGPT ini akan melibatkan para pembuat kebijakan, pendidik, dan seniman di seluruh dunia untuk memahami kekhawatiran mereka dan mengidentifikasi kasus penggunaan positif teknologi baru ini.

"Kami membagikan hasil penelitian kami lebih awal, untuk mulai bekerja sama dan mendapatkan umpan balik dari orang-orang di luar OpenAI, juga untuk memberikan gambaran pada publik tentang kemampuan AI di masa depan," tulis OpenAI.

Bicara soal masyarakat publik, OpenAI tidak merincikan kapan model AI terbarunya itu bisa digunakan secara menyeluruh.