Qualcomm Pamerkan LLaVA, AI LMM Pertama di HP Android

Kompas.com - 26/02/2024, 22:10 WIB

Mikhaangelo Fabialdi Nurhapy,

Reska K. Nistanto

Tim Redaksi

Mikhaangelo Fabialdi Nurhapy

Penulis

Reska K. Nistanto

Editor

Lihat Foto

Ignacio Contreras, Senior Director Qualcomm Tech menjelaskan teknologi Multimodal AI Vision yang bisa membaca gambar. Model AI yang dikembangkan tak hanya bisa membaca teks, tetapi juga bisa melihatnya.(KOMPAS.com/Mikhaangelo Fabialdi)

LMM yang dikembangkan Qualcomm juga bisa melihat dan mendeskripsikan gambar yang dikirimkan oleh pengguna, dengan token rate yang cepat.

Qualcomm pamerkan teknologi AI terbarunya di MWC 2024. Ada LMM LLaVA untuk percakapan dan LoRA untuk membuat gambar.

BARCELONA, KOMPAS.com - Perusahaan semikonduktor Qualcomm memamerkan beberapa teknologi terbarunya dalam bidang kecerdasan buatan (AI) di ajang tahunan Mobile World Congress alias MWC 2024 di Barcelona, Spanyol.

Salah satu teknologi AI yang dipamerkan adalah large multimodal model (LMM) yang diberi nama Large Language and Vision Assistant (LLaVA).

Dilaporkan jurnalis KOMPAS.com, Mikhaangelo Fabialdi dari Barcelona, LMM LLaVA ini spesial karena disebut-sebut menjadi LMM pertama didunia yang berjalan di smartphone Android.

Large Multimodal Model adalah sejenis sistem kecerdasan buatan tingkat lanjut yang memiliki kemampuan untuk memproses dan memahami informasi dari berbagai tipe data atau modalitas secara bersamaan.

Menurut Qualcomm, ketika diadopsi dalam sebuah asisten AI, LLaVA memiliki lebih dari 7 miliar parameter yang dapat menerima berbagai jenis input data, termasuk dari teks dan gambar.

Bagian penelitian kecerdasan buatan Qualcomm alias Qualcomm AI Research mendemonstrasikan kemampuan LLaVA dalam sebuah video, yang juga ditampilkan di booth pameran Qualcomm di MWC 2024.

Dalam video berdurasi sekitar 1 menit itu, pengguna bisa mengirimkan sebuah gambar ke chatbot AI yang dibekingi LLaVA. Pengguna bisa mengunggah gambar yang ingin diketahui lebih lanjut.

Misalnya, pengguna ingin membuat hidangan, sehingga mengunggah foto bahan makanan yang dimiliknya.

Pengguna bisa menanyakan bahan makanan apa saja yang harus disiapkan menurut foto tersebut. AI LLaVA pun mendeskripsikan bahan makanan seperti ikan, tomat, timun, wortel, selada, dan lemon, seperti video di bawah.

Pengguna bisa memberikan instruksi lanjutan seperti minta dibuatkan resep dari bahan makanan tersebut. AI LLaVA pun merekomendasikan pengguna untuk membuat salad dengan ikan. Bahan selada, tomat, timun, dan wortel bisa dibuat menjadi salad dengan campuran minyak dan sedikit jeruk lemon. Lalu, LLaVA juga menyarankan, ikan digoreng atau dikukus sebagai topping salad.

Tak hanya itu, pengguna juga bisa menanyakan soal kalori dari hidangan yang akan dibuatnya. AI LLaVA pun memberikan estimasi bahwa kalori dari salad dan ikan tersebut sebesar 400-500 kalori untuk porsi moderat.

Dalam video demonstrasi, AI LLaVA terlihat dapat memberikan jawaban dari instruksi pengguna dengan jelas dan cepat.

KOMPAS.com/Mikhaangelo Fabialdi LMM yang dikembangkan Qualcomm juga bisa melihat dan mendeskripsikan gambar yang dikirimkan oleh pengguna, dengan token rate yang cepat.

LMM LLaVA ini berjalan secara lokal di perangkat alias on-device. Menurut Qualcomm, skema on-device ini membuat AI LLaVA lebih privat, reliable. Di samping itu, teknologi AI on-device ini juga bisa dipersonalisasi dan bakal lebih hemat biaya.

Ini berbeda dari AI berbasis cloud (terutama yang gratisan) yang bisa lebih mahal, lambat, dan kurang mengutamakan privasi.

Large Multimodal Model LLaVA Qualcomm ini disebut menggunakan optimisasi AI full-stack untuk mencapai performa yang tinggi sambil menghemat daya.