AMD Perkenalkan Chip AI Instinct MI300X dan MI300A, Pesaing Nvidia H100

KOMPAS.com - Setelah memberikan kisi-kisinya dalam ajang CES 2023 Januari lalu, AMD pekan ini meresmikan kehadiran chip akselerator AI miliknya yang bernama Instinct MI300 Series.

Ada dua model dari lini produk untuk datacenter tersebut, yakni GPU Instinct MI300X dan APU MI300A. Keduanya dibuat dengan teknologi terkini seperti 3D stacking, 3,5D packaging, dan penggunaan chiplet.

Baca juga: AMD Perkenalkan Prosesor Ryzen 8040, Bawa Kemampuan AI ke Laptop

Instinct MI300X ditujukan sebagai chip akselerator AI pesaing GPU seri H100 dari Nvidia. Sementara, Instinct MI300A yang memiliki CPU dan GPU di satu kemasan merupakan rival dari Nvidia Grace Hopper.

Instinct MI300X

AMD Struktur chip AI AMD Instinct MI300X

Chip Instinct MI300X menggabungkan beberapa chiplet sekaligus dengan teknologi 3,5D packaging, yakni 8 chiplet GPU CDNA 3 5 nm dan 8 memory HBM3 12-Hi. Walhasil, Instinct MI300X memiliki 304 compute units, memori HBM3 192 GB, dan bandwitdh 5,3 TB per detik.

Instinct MI300X didesain untuk digunakan dalam konfigurasi 8 chip di platform generative AI AMD. Masing-masing chip terhubung lewat interkoneksi Infinity Fabric dengan throughput 896 GB per detik.

Secara keseluruhan, sistem generative AI tersebut memiliki memori HBM3 sebesar 1,5 TB serta kinerja BF16/ FP16 sebesar 10,4 Petaflops.

Baca juga: Terungkap, Keuntungan Fantastis Nvidia dari GPU H100 yang Dijual Rp 300 Jutaan

Dibandingkan dengan chip H100 dari Nvidia yang menjadi lawannya, AMD mengklaim bahwa Instinct MI300X memiliki kapasitas memori 2,4x lebih besar serta kinerja komputasi BF16/ FP16 1,3x lebih tinggi.

Dibanding 8 chip H100 di server HGX, 8 chip Instinct MI300X di platform server mencatat throughput 60 persen lebih besar dalam Flash Attention 2 dengan ukuran model 176 miliar parameter, serta peningkatan chat latency 40 persen di Llama 2 dengan 70 miliar parameter.

Saat disandingkan per-chip pun, AMD mengeklaim bahwa Instinct MI300X masih lebih kencang hingga 20 persen di aplikasi-aplikasi tertentu seperti Flash Attention 2 dan Llama 2.

Instinct MI300A

AMD Struktur chip APU AMD Instinct MI300A

Dengan menggabungkan CPU dan GPU di dalam satu kemasan, Instinct MI300A merupakan APU data center pertama di dunia. Lawannya adalah Superchip Grace Hopper dari Nvidia yang menanamkan CPU dan GPU di kemasan terpisah tapi berkerja secara tandem.

Secara desain, Instinct MI300A sebenarnya mirip dengan Instinct MI300X, namun dua chiplet GPU CDNA digantikan dengan tiga core compute die (CCD) 5 nm yang masing-masing berisi delapan core CPU Zen 4.

Kapasitas memori HBM3 juga dikurangi dengan menggunakan delapan stack 8-Hi, alih-alih 12-Hi seperti pada Instinct MI300X, sehingga totalnya menjadi 128 GB. Meskipun demikian, bandwidth maksimal tetap berada di angka 5,3 TB.

Dengan demikian, sebagaimana dihimpun KompasTekno dari Tom's Hardware, Sabtu (9/12//2023), Instinct MI300A memiliki 24 core CPU, 228 compute unit CDNA 3, dan memori HBM3 128 GB.

Baca juga: Laptop Gaming Acer Nitro V 16 Dirilis, Bawa Prosesor AMD Ryzen 7 8845HS

Seperti halnya Instinct MI300X, semua chiplet disusun secara bertumpuk (3D stacking) dengan I/O die di lapisan bawah untuk menngkatkan bandwidth, latency, dan efisiensi daya.

AMD mengkaim bahwa Instinct MI300A 4X lebih kencang dari Nvidia H100 dalam uji motorbike test OpenFOAM HPC. Pembanding yang ideal sebenarnya adalah Superchip Grace Hopper GH200 yang sama-sama memiliki CPU dan APU, tapi data publiknya tidak tersedia.

Harga Insitinct MI300X maupun Instinct MI300A tidak diungkap oleh AMD. Namun, kedua chip tersebut sudah mulai dikirimkan ke rekanan-rekanan OEM.