AMD Perkenalkan Chip AI Instinct MI300X dan MI300A, Pesaing Nvidia H100

Ada dua model dari lini produk untuk datacenter tersebut, yakni GPU Instinct MI300X dan APU MI300A. Keduanya dibuat dengan teknologi terkini seperti 3D stacking, 3,5D packaging, dan penggunaan chiplet.

Instinct MI300X ditujukan sebagai chip akselerator AI pesaing GPU seri H100 dari Nvidia. Sementara, Instinct MI300A yang memiliki CPU dan GPU di satu kemasan merupakan rival dari Nvidia Grace Hopper.

Instinct MI300X

Instinct MI300X didesain untuk digunakan dalam konfigurasi 8 chip di platform generative AI AMD. Masing-masing chip terhubung lewat interkoneksi Infinity Fabric dengan throughput 896 GB per detik.

Secara keseluruhan, sistem generative AI tersebut memiliki memori HBM3 sebesar 1,5 TB serta kinerja BF16/ FP16 sebesar 10,4 Petaflops.

Dibandingkan dengan chip H100 dari Nvidia yang menjadi lawannya, AMD mengklaim bahwa Instinct MI300X memiliki kapasitas memori 2,4x lebih besar serta kinerja komputasi BF16/ FP16 1,3x lebih tinggi.

Dibanding 8 chip H100 di server HGX, 8 chip Instinct MI300X di platform server mencatat throughput 60 persen lebih besar dalam Flash Attention 2 dengan ukuran model 176 miliar parameter, serta peningkatan chat latency 40 persen di Llama 2 dengan 70 miliar parameter.

Saat disandingkan per-chip pun, AMD mengeklaim bahwa Instinct MI300X masih lebih kencang hingga 20 persen di aplikasi-aplikasi tertentu seperti Flash Attention 2 dan Llama 2.

Instinct MI300A

Secara desain, Instinct MI300A sebenarnya mirip dengan Instinct MI300X, namun dua chiplet GPU CDNA digantikan dengan tiga core compute die (CCD) 5 nm yang masing-masing berisi delapan core CPU Zen 4.

Kapasitas memori HBM3 juga dikurangi dengan menggunakan delapan stack 8-Hi, alih-alih 12-Hi seperti pada Instinct MI300X, sehingga totalnya menjadi 128 GB. Meskipun demikian, bandwidth maksimal tetap berada di angka 5,3 TB.

Dengan demikian, sebagaimana dihimpun KompasTekno dari Tom's Hardware, Sabtu (9/12//2023), Instinct MI300A memiliki 24 core CPU, 228 compute unit CDNA 3, dan memori HBM3 128 GB.

Seperti halnya Instinct MI300X, semua chiplet disusun secara bertumpuk (3D stacking) dengan I/O die di lapisan bawah untuk menngkatkan bandwidth, latency, dan efisiensi daya.

AMD mengkaim bahwa Instinct MI300A 4X lebih kencang dari Nvidia H100 dalam uji motorbike test OpenFOAM HPC. Pembanding yang ideal sebenarnya adalah Superchip Grace Hopper GH200 yang sama-sama memiliki CPU dan APU, tapi data publiknya tidak tersedia.

Harga Insitinct MI300X maupun Instinct MI300A tidak diungkap oleh AMD. Namun, kedua chip tersebut sudah mulai dikirimkan ke rekanan-rekanan OEM.