AI Microsoft Phi Silica Meluncur, Bisa Berjalan "Offline" di PC Copilot+

KOMPAS.com - Microsoft resmi memperkenalkan model kecerdasan buatan (AI) terbaru mereka bernama Phi Silica dalam ajang Microsoft Build yang digelar di Seattle, Washington, Amerika Serikat (AS) pekan ini. 

Berbeda dengan Copilot yang wajib menggunakan koneksi internet, Phi Silica merupakan AI yang akan berjalan secara langsung (offline) melalui chip AI (Neural Processing Unit/NPU) laptop jenis Copilot Plus PC. 

Seperti diketahui, jajaran laptop Copilot Plus PC, yang meliputi Surface, Surface Pro, hingga Surface Laptop sudah diperkenalkan secara resmi pula di acara Microsoft Build. Artinya, laptop dengan jenis tersebut merupakan laptop generasi pertama yang akan hadir dengan Phi Silica.

Phi Silica merupakan model AI kecil berjenis small language model (SLM). Berbeda dengan model bahasa besar (large language model/LLM), pengoperasian SLM memakan memori lebih sedikit, sehingga bisa berjalan di NPU tanpa mengandalkan koneksi internet.

Baca juga: Microsoft Umumkan Copilot+ PC, Standar Laptop dengan Dukungan AI

Secara teknis, Microsoft mengeklaim SLM ini memiliki "pengetahuan" hingga 3,3 miliar parameter, supaya bisa menjawab sekaligus menginterpretasi permintaan pengguna dengan akurat dan cepat. 

Dalam prosesnya, Phi Silica memiliki latensi token hingga 650 token per detik dan memakai daya sekitar 1,5 watt per detik. Token adalah unit dasar data, biasanya berupa huruf atau kalimat, yang biasa dipakai dalam pemrosesan AI. 

Microsoft Ilustrasi laprop konvertibel Microsoft Surface Pro.

Lebih lanjut, pemrosesan token secara terus menerus juga akan disimpan di memori cache yang ada di NPU. Ketika berjalan, proses AI lantas akan berjalan di CPU dengan kecepatan pemrosesan 27 token per detik. Artinya, beban NPU akan lebih ringan karena bantuan CPU. 

Untuk ketersediaan, Phi Silica akan bisa dijajal di aneka Copilot PC Plus yang meliputi Surface, Surface Pro, dan Surface Laptop generasi terbaru yang ditenagai dengan chip ARM Qualcomm Snapdragon X Plus atau X Elite.

Baca juga: Microsoft Luncurkan Laptop Surface Copilot Plus PC Pertama dengan Chip Snapdragon X Series

Belum bisa dipastikan apakah Phi Silica nantinya akan menggantikan fungsi chatbot Copilot di laptop-laptop tersebut ketika tidak ada koneksi internet atau tidak. Belum jelas pula bagaimana cara kerja Phi Silica apabila dibandingkan dengan Copilot.

Namun yang jelas, Phi Silica merupakan strategi baru Microsoft untuk "menanamkan" SLM secara langsung ke dalam hardware untuk pertama kalinya, terutama untuk segmen laptop Windows.

Selain Phi Silica, Microsoft juga sebenarnya sudah memiliki SLM lain dengan nama "Phi", dan model Phi Silica bisa dibilang sebagai model Phi terkecil dan pelengkap model AI Phi yang sudah ada, sebagaimana dirangkum KompasTekno dari VentureBeat, Rabu (22/5/2024). 

Beberapa di antaranya seperti Phi-3-Mini dengan 3,8 miliar parameter, Phi-3-Small dengan 7 miliar parameter, Phi-3-Medium dengan 14 miliar parameter, dan Phi-3-Vision dengan 4,2 miliar parameter.