Nvidia Mungkinkan Gamer Ngobrol Langsung dengan Karakter Game

Teknologi ini diperkenalkan oleh CEO Nvidia, Jensen Huang dalam pameran elektronik Computex 2023 di Taipei, Taiwan.

Dalam video demo "Kairos" yang ditunjukkan, pengguna bisa melihat render tiga dimensi (3D) sebuah restoran ramen dengan elemen cyberpunk.

Di sini, pemain bakal melihat karakter bernama Kai. Setelah menekan tombol T untuk memulai pembicaraan, pengguna dapat berbicara menggunakan suara dan mikrofon headset sendiri.

Pemain bisa mengobrol dengan karakter dalam sebuah game, layaknya berbincang dengan karakter game pemain lain di game multiplayer. Padahal, Jin merupakan karakter non-pemain dan bukan orang asli.

Usai mendengar dialog dari pengguna, Jin akan menjawab secara dinamis. Dengan kata lain, jawaban karakter NPC tersebut bukan mengikuti skrip tertentu yang sudah diatur, melainkan alur dan konteks pembicaraan yang dimulai oleh pengguna.

Ketika pengguna bertanya "Hai Jin, apa kabar?", Jin lantas akan menjawab "Sayangnya tidak terlalu baik."

Kemudian saat menanyakan "Kok bisa begitu?", Jin akan menjelaskan bahwa restorannya terkena imbas oleh kejahatan yang terjadi di sekitar wilayah itu.

Mekanisme dialog seperti ini tentunya berbeda dengan sistem game Role-Playing Game (RPG) pada umumnya.

Biasanya, game RPG seperti "Cyberpunk 2077" atau "Fallout: New Vegas" memiliki pohon dialog (dialogue tree), yang mana pengguna bisa memilih satu respons dari sejumlah opsi terhadap dialog karakter non-pemain.

Dengan teknologi mutakhir Nvidia, pengguna tidak dibatasi sejumlah pilihan ketika mengobrol dengan karakter NPC.

Menurut Nvidia VP of GeForce Platform, Jason Paul, teknologi ini juga berfungsi ketika satu karakter mengobrol dengan beberapa karakter sekaligus.

Bahkan, ACE secara teori dapat membuat karakter nonpemain saling mengobrol, meski Paul belum pernah melihat hal itu diuji coba. Adapun video demo ini merupakan hasil kolaborasi antara Nvidia dan Convai untuk mempromosikan teknologi ACE.

Convai itu sendiri adalah perusahaan yang menawarkan teknologi percakapan AI (Artificial Intelligence) generatif, yang bisa dijalankan lewat cloud dan hardware Nvidia, mencakup sejumlah tools, yakni Nvidia NeMo, Nvidia Riva, serta Nvidia Omniverse Audio2Face.

Nvidia NeMo merupakan software yang membangun dan menyesuaikan model (bahasa AI) large language model (LLM) yang bisa disesuaikan dengan cerita dan latar belakang karakter, misalnya dalam game.

Teknologi ini juga menggunakan pembatas agar AI tidak membicarakan soal topik yang tidak pantas.

Berikutnya, ada juga teknologi Nvidia Riva yang menyediakan pengenalan ucapan otomatis (Automatic Speech Recognition) dan alat ucapan ke teks (Speech-to-text).

Terakhir, terdapat Nvidia Omniverse Audio2Face yang menggunakan sumber audio untuk membuat animasi wajah ekspresif untuk karakter game.

Sejumlah teknologi ini kemudian ditunjukkan dalam demo "Kairos" yang dibuat dengan software pembuat game Unreal Engine 5, sebagaimana dikutip KompasTekno dari Engadget, Selasa (30/5/2023).

Adegan restoran ramen tersebut di-render menggunakan RTX Direct Illumination (RTXDI) untuk kebutuhan ray-tracing dan Nvidia DLSS 3 untuk performa maksimum.

Nvidia tidak mengumumkan game apa saja yang akan menggunakan teknologi ACE. Setidaknya, diketahui bahwa "Stalker 2: Heart of Chernobyl" dan "Fort Solis" bakal memanfaatkan tools Omniverse Audio2Face.