Qualcomm Pamerkan LLaVA, AI LMM Pertama di HP Android

BARCELONA, KOMPAS.com - Perusahaan semikonduktor Qualcomm memamerkan beberapa teknologi terbarunya dalam bidang kecerdasan buatan (AI) di ajang tahunan Mobile World Congress alias MWC 2024 di Barcelona, Spanyol.

Salah satu teknologi AI yang dipamerkan adalah large multimodal model (LMM) yang diberi nama Large Language and Vision Assistant (LLaVA).

Dilaporkan jurnalis KOMPAS.com, Mikhaangelo Fabialdi dari Barcelona, LMM LLaVA ini spesial karena disebut-sebut menjadi LMM pertama didunia yang berjalan di smartphone Android.

Large Multimodal Model adalah sejenis sistem kecerdasan buatan tingkat lanjut yang memiliki kemampuan untuk memproses dan memahami informasi dari berbagai tipe data atau modalitas secara bersamaan.

Menurut Qualcomm, ketika diadopsi dalam sebuah asisten AI, LLaVA memiliki lebih dari 7 miliar parameter yang dapat menerima berbagai jenis input data, termasuk dari teks dan gambar.  

Bagian penelitian kecerdasan buatan Qualcomm alias Qualcomm AI Research mendemonstrasikan kemampuan LLaVA dalam sebuah video, yang juga ditampilkan di booth pameran Qualcomm di MWC 2024. 

Dalam video berdurasi sekitar 1 menit itu, pengguna bisa mengirimkan sebuah gambar ke chatbot AI yang dibekingi LLaVA. Pengguna bisa mengunggah gambar yang ingin diketahui lebih lanjut.

Misalnya, pengguna ingin membuat hidangan, sehingga mengunggah foto bahan makanan yang dimiliknya.

Pengguna bisa menanyakan bahan makanan apa saja yang harus disiapkan menurut foto tersebut. AI LLaVA pun mendeskripsikan bahan makanan seperti ikan, tomat, timun, wortel, selada, dan lemon, seperti video di bawah.

Pengguna bisa memberikan instruksi lanjutan seperti minta dibuatkan resep dari bahan makanan tersebut. AI LLaVA pun merekomendasikan pengguna untuk membuat salad dengan ikan. Bahan selada, tomat, timun, dan wortel bisa dibuat menjadi salad dengan campuran minyak dan sedikit jeruk lemon. Lalu, LLaVA juga menyarankan, ikan digoreng atau dikukus sebagai topping salad.

Tak hanya itu, pengguna juga bisa menanyakan soal kalori dari hidangan yang akan dibuatnya. AI LLaVA pun memberikan estimasi bahwa kalori dari salad dan ikan tersebut sebesar 400-500 kalori untuk porsi moderat.

Dalam video demonstrasi, AI LLaVA terlihat dapat memberikan jawaban dari instruksi pengguna dengan jelas dan cepat.

Baca juga: Qualcomm Rilis Perpustakaan AI Hub untuk Pengembang Aplikasi

KOMPAS.com/Mikhaangelo Fabialdi LMM yang dikembangkan Qualcomm juga bisa melihat dan mendeskripsikan gambar yang dikirimkan oleh pengguna, dengan token rate yang cepat.

LMM LLaVA ini berjalan secara lokal di perangkat alias on-device. Menurut Qualcomm, skema on-device ini membuat AI LLaVA lebih privat, reliable. Di samping itu, teknologi AI on-device ini juga bisa dipersonalisasi dan bakal lebih hemat biaya.

Ini berbeda dari AI berbasis cloud (terutama yang gratisan) yang bisa lebih mahal, lambat, dan kurang mengutamakan privasi.

Large Multimodal Model LLaVA Qualcomm ini disebut menggunakan optimisasi AI full-stack untuk mencapai performa yang tinggi sambil menghemat daya.

Selain pada smartphone Android, Qualcomm juga menunjukkan fitur yang serupa tetapi untuk komputer (PC) Windows.

Dengan Snapdragon X Elite, PC mampu memahami dan menganalisis audio yang diberikan oleh pengguna.

Jumlah parameternya juga melampaui 7 miliar, dan LMM pun dijalankan secara on-device, sehingga mempertahankan sejumlah benefit yang sudah dipaparkan sebelumnya.

Pamerkan LoRA di ponsel Android

Qualcomm Qualcomm pamerkan teknologi AI terbarunya di MWC 2024. Ada LMM LLaVA untuk percakapan dan LoRA untuk membuat gambar.

LLaVA ditujukan untuk skenario penggunaan berupa perckapapan. Sementara LoRA ditujukan untuk skenario berupa generator atau pembuat gambar unik/artistik dari input teks.

Sederhananya, kemampuan LoRA ini mirip dengan AI Art generator macam Stable Diffusion, Midjourney, atau Dall-E. Qualcomm turut mendemonstrasikan kemampuan LoRA di MWC 2024.

Pengguna bisa membuat gambar dengan memberikan perintah dalam bentuk teks. Misalnya, pengguna ingin membuat gambar kucing berbulu keriting. Pengguna bisa mengatur tingkat ketajaman hingga elemen utama gambar (misalnya kristal dan mi). Setelah diatur, pengguna cukup klik "generate".

Dari video, waktu yang dibutuhkan AI LoRA untuk membuat gambar kucing sesuai intruksi adalah 6,79 detik. Nantinya, pengguna melihat kucing berbulu kriting yang mana bulunya mirip mi atau kucing dengan bulu terbuat dari kristal. 

Demonstrasi AI LoRA bisa dilihat lewat video di bawah ini.

Baca juga: Chip Modem Qualcomm Snapdragon X80 5G Resmi dengan Fitur Komunikasi Satelit

Tugas LoRA lainnya adalah mengurangi jumlah parameter model AI yang dilatih, sehingga menghasilkan efisiensi yang lebih baik, penskalaan, dan customized AI generatif on-device.

LoRA juga dapat diaplikasikan untuk model AI yang sudah customized, seperti model bahasa besar (large language model/LLM), untuk menciptakan asisten pribadi yang disesuaikan dengan pengguna, penerjemahan bahasa yang ditingkatkan, dan lain-lain.

AI generatif di berbagai perangkat

Qualcomm mengintegrasikan kemampuan AI generatif untuk berbagai perangkat, mulai dari ponsel flagship yang ditenagai chipset Snapdragon 8 Gen 3, misalnya Honor Magic6 Pro, Oppo X7 Ultra, dan Xiaomi 14 Pro.

Setiap perangkat ini menghadirkan fitur AI generatif terbaru, seperti fitur ekspansi gambar berbasis AI (Xiaomi), pembuat video dan kalender berbasis AI (Honor), dan penghapus objek pada gambar (Oppo).

Untuk PC, Snapdragon X Elite dengan performa komputasi 45 TOPS bisa menghasilkan gambar AI lewat software GIMP (ditambah plug-in Stable Diffusion) dalam kurun waktu 7 detik. Ini disebut 3 kali lebih cepat dibandingkan kompetitor x86.

Hardware lainnya yang bisa menikmati kemampuan AI generatif mencakup otomotif, perangkat Internet of Things (IoT), modem Snapdragon X80 Modem-RF, dan infrastruktur 5G milik Qualcomm.

Masih soal AI, Qualcomm turut memperkenalkan Qualcomm AI Hub, yakni perpustakaan model kecerdasan buatan (artificial intelligence/AI) yang telah dioptimalkan sebelumnya, untuk kelancaran integrasi (deployment) model pada perangkat yang didukung platform Snapdragon dan Qualcomm.