Mengapa inferensi AI semakin membutuhkan lapisan memori baru?

  • Saat model besar menghasilkan konten, model perlu berulang kali membaca parameter dan cache KV yang terbentuk dari perhitungan sebelumnya; semakin panjang konteks, semakin banyak data yang harus tetap dapat diakses, dan unit komputasi juga dapat menganggur saat menunggu data.
  • Model MoE hanya mengaktifkan sebagian pakar setiap kali, sehingga mengurangi komputasi per operasi, tetapi seluruh parameter tetap harus disimpan dan tersedia untuk digunakan. Ketika skala data melampaui kapasitas yang dapat ditampung HBM secara ekonomis, permintaan meluas ke lapisan memori dan penyimpanan lain.
  • Menyimpan hasil perhitungan sebelumnya juga memiliki nilai ekonomi: laporan tersebut menyebutkan bahwa harga pembacaan token cache pada sebagian laboratorium AI dan Google sekitar 10% dari harga token input baru, sehingga penggunaan berulang konteks yang sudah ada dapat menghemat komputasi.

Bagaimana HBF menurunkan biaya inferensi, dan apa batasannya?

  • SanDisk menargetkan kapasitas 8 hingga 16 kali lipat dengan bandwidth baca yang mendekati HBM. Dalam arsitektur berlapis, HBM menyimpan data aktif yang sensitif terhadap latensi; HBF menyimpan bobot model yang lebih jarang digunakan dan cache yang dapat digunakan kembali, sehingga mengurangi GPU dan HBM yang disediakan semata-mata untuk menampung model.
  • Simulasi internal SanDisk terhadap model Qwen 960GB menunjukkan bahwa skema HBF dapat menampung model dengan satu GPU, sedangkan skema yang hanya menggunakan HBM membutuhkan setidaknya delapan; empat GPU yang dilengkapi HBF dapat menyamai output token dari delapan GPU HBM.
  • HBF memperoleh bandwidth tinggi melalui pembacaan paralel, tetapi latensi satu akses NAND masih lebih tinggi daripada DRAM; permintaan kecil dan tersebar juga dapat membaca banyak data yang tidak diperlukan. Penulisannya lebih lambat dan masa pakainya terbatas, sehingga lebih cocok untuk data yang sering dibaca tetapi lebih jarang diperbarui.

Mengapa HBF dapat mengubah pasokan dan permintaan NAND?

  • Skenario dasar Bernstein memperkirakan bahwa untuk kapasitas efektif yang sama, HBF menggunakan sekitar 6.5 kali kapasitas wafer NAND TLC konvensional. Perhitungan tersebut mengasumsikan penggunaan SLC yang menyimpan satu bit per sel, serta memperhitungkan luas chip tambahan dan kehilangan yield produksi; rasio akhirnya bergantung pada konfigurasi produk dan proses manufaktur.
  • Jika penerapan HBF meluas, teknologi ini akan menambah permintaan NAND untuk inferensi AI sekaligus mengurangi kapasitas efektif yang dihasilkan per wafer, sehingga membantu menopang harga industri. Solusi flash berkinerja tinggi lainnya juga dapat menambah permintaan atau menggunakan lebih banyak kapasitas; dampaknya bergantung pada teknologi yang digunakan.
  • HBM dan GPU yang dibutuhkan untuk satu beban kerja mungkin berkurang, tetapi Bernstein menilai total permintaan masih dapat tumbuh jika biaya inferensi yang lebih rendah menghadirkan cukup banyak aplikasi dan penerapan baru; HBM tetap menangani data aktif dan tugas pembaruan yang sering.

Bisakah biaya yang lebih tinggi menghasilkan laba yang lebih tinggi?

  • Menurut skenario dasar Bernstein, biaya produksi HBF per GB sekitar 9.5 hingga 11.5 kali biaya SSD kelas perusahaan. Meski tumpukan 16 lapis lebih mahal per modul, biaya tetap dibagi ke kapasitas yang lebih besar, sehingga biaya per GB lebih rendah daripada tumpukan 8 lapis.
  • Perusahaan tersebut mengasumsikan harga jual modul HBF dan HBM4 hampir sama, dan kapasitas HBF sebesar 8 kali kapasitas HBM; dalam skenario dasar dengan harga HBM4 sebesar 38 dolar per GB, harga HBF sekitar 4.75 dolar per GB, menghasilkan margin kotor masing-masing 88,9% dan 86,5% untuk produk 16 lapis dan 8 lapis, lebih tinggi daripada margin kotor keseluruhan SanDisk pada kuartal fiskal keempat sebesar 84,6%.
  • Potensi margin ini bergantung pada kinerja aktual, harga HBM dan siklus memori, serta biaya chip, pengemasan, dan pengujian HBF. Bernstein juga menyatakan bahwa produsen HBM mungkin menerima margin yang lebih rendah daripada DRAM biasa demi memperoleh nilai strategis, dan hal serupa mungkin terjadi pada HBF.

Apa saja hambatan menuju adopsi HBF secara luas?

  • HBF membutuhkan perancangan ulang prosesor dan perangkat lunak secara bersama untuk menentukan penempatan, penjadwalan, dan pengambilan awal data antara HBM dan HBF; teknologi ini juga harus bersaing dengan chip komputasi dan HBM untuk mendapatkan ruang pengemasan canggih yang mahal dan terbatas.
  • SanDisk menyatakan bahwa chip memori HBF pertamanya telah menyelesaikan tape-out, dan sampel produk inferensi pertama direncanakan tersedia pada 2027. Google, Meta, dan SK hynix termasuk yang telah bergabung dalam aliansi, tetapi Bernstein menyatakan bahwa NVIDIA belum secara resmi mendukung HBF dan sedang mendorong solusi seperti CMX dan Storage Next.
  • Target keuangan jangka panjang SanDisk saat ini belum mencakup HBF; Bernstein menilai bahwa jika volume produk meningkat pada masa mendatang, hal itu dapat memberikan tambahan terhadap target tersebut.