Mengapa inferens AI semakin memerlukan lapisan memori baharu?

  • Apabila model besar menjana kandungan, ia perlu berulang kali membaca parameter model dan cache KV yang terhasil daripada pengiraan terdahulu; semakin panjang konteks, semakin banyak data perlu kekal boleh diakses, dan unit pengiraan juga mungkin terbiar sementara menunggu data.
  • Model MoE hanya mengaktifkan sebahagian pakar setiap kali, mengurangkan jumlah pengiraan bagi setiap operasi, tetapi parameter lengkap masih perlu disimpan dan tersedia untuk digunakan. Apabila skala data melebihi kapasiti yang boleh ditampung secara ekonomik oleh HBM, permintaan meluas ke lapisan memori dan storan lain.
  • Mengekalkan hasil pengiraan terdahulu juga mempunyai nilai ekonomi: laporan itu menyatakan harga bacaan token cache bagi sesetengah makmal AI dan Google adalah sekitar 10% daripada harga token input baharu, maka penggunaan berulang konteks sedia ada dapat menjimatkan pengiraan.

Bagaimanakah HBF mengurangkan kos inferens, dan apakah batasannya?

  • SanDisk menyasarkan kapasiti 8 hingga 16 kali ganda sambil menghampiri jalur lebar bacaan HBM. Dalam seni bina berlapis, HBM menyimpan data aktif yang sensitif terhadap kependaman; HBF menyimpan pemberat model yang kurang kerap digunakan dan cache yang boleh digunakan semula, sekali gus mengurangkan GPU dan HBM yang disediakan semata-mata untuk menampung model.
  • Simulasi dalaman SanDisk bagi model Qwen 960GB menunjukkan penyelesaian HBF boleh menampung model dengan satu GPU, manakala penyelesaian HBM sahaja memerlukan sekurang-kurangnya lapan; empat GPU yang dilengkapi HBF boleh menyamai output token lapan GPU HBM.
  • HBF memperoleh jalur lebar tinggi melalui bacaan selari, tetapi kependaman satu akses NAND masih lebih tinggi daripada DRAM; permintaan kecil dan berselerak juga mungkin membaca sejumlah besar data yang tidak diperlukan. Penulisannya lebih perlahan dan jangka hayatnya terhad, maka ia lebih sesuai untuk data yang kerap dibaca tetapi kurang kerap dikemas kini.

Mengapa HBF boleh mengubah bekalan dan permintaan NAND?

  • Senario asas Bernstein menganggarkan HBF menggunakan kira-kira 6.5 kali kapasiti wafer NAND TLC konvensional bagi kapasiti efektif yang sama. Pengiraan mengandaikan penggunaan SLC yang menyimpan satu bit bagi setiap sel, serta mengambil kira keluasan cip tambahan dan kehilangan hasil pembuatan; nisbah akhir bergantung pada konfigurasi produk dan proses.
  • Jika penggunaan HBF berkembang, ia akan menambah permintaan NAND untuk inferens AI dan pada masa yang sama mengurangkan kapasiti efektif yang dihasilkan setiap wafer, sekali gus membantu menyokong harga industri. Penyelesaian denyar berprestasi tinggi lain juga boleh menambah permintaan atau menggunakan lebih banyak kapasiti; kesan khusus bergantung pada teknologi yang digunakan.
  • HBM dan GPU yang diperlukan bagi satu beban kerja mungkin berkurang, tetapi Bernstein berpendapat jumlah permintaan masih boleh meningkat jika kos inferens yang lebih rendah membawa cukup banyak aplikasi dan penggunaan baharu; HBM akan terus mengendalikan data aktif dan tugas kemas kini kerap.

Bolehkah kos yang lebih tinggi diterjemahkan kepada keuntungan lebih tinggi?

  • Menurut senario asas Bernstein, kos pembuatan HBF bagi setiap GB adalah kira-kira 9.5 hingga 11.5 kali ganda kos SSD kelas perusahaan. Walaupun tindanan 16 lapisan lebih mahal bagi setiap modul, kos tetap diagihkan kepada kapasiti yang lebih besar, menjadikan kos setiap GB lebih rendah daripada tindanan 8 lapisan.
  • Firma itu mengandaikan modul HBF dan HBM4 dijual pada harga yang hampir sama, dan kapasiti HBF ialah 8 kali ganda kapasiti HBM; dalam senario asas dengan harga HBM4 pada 38 dolar setiap GB, harga HBF kira-kira 4.75 dolar setiap GB, bersamaan margin kasar 88.9% dan 86.5% masing-masing bagi produk 16 lapisan dan 8 lapisan, lebih tinggi daripada margin kasar keseluruhan SanDisk bagi suku kewangan keempat sebanyak 84.6%.
  • Ruang keuntungan ini bergantung pada prestasi sebenar, harga HBM dan kitaran memori, serta kos cip, pembungkusan dan ujian HBF. Bernstein turut menyatakan bahawa pengeluar HBM mungkin menerima margin lebih rendah daripada DRAM biasa untuk memperoleh nilai strategik, dan keadaan serupa mungkin berlaku bagi HBF.

Apakah halangan yang masih dihadapi HBF sebelum diterima secara meluas?

  • HBF memerlukan pemproses dan perisian direka semula bersama untuk menentukan cara data ditempatkan, dijadualkan dan dipraambil antara HBM dengan HBF; ia juga perlu bersaing dengan cip pengiraan dan HBM untuk ruang pembungkusan termaju yang mahal dan terhad.
  • SanDisk menyatakan cip memori HBF pertamanya telah selesai melalui proses tape-out, dan sampel produk inferens pertama dirancang untuk dilancarkan pada 2027. Google, Meta dan SK hynix antara yang telah menyertai pakatan itu, tetapi Bernstein menyatakan NVIDIA belum menyokong HBF secara rasmi dan sedang mempromosikan penyelesaian seperti CMX dan Storage Next.
  • Sasaran kewangan jangka panjang SanDisk ketika ini tidak merangkumi HBF; Bernstein berpendapat jika jumlah produk meningkat pada masa hadapan, ia boleh menambah pencapaian sasaran tersebut.