Yapay zekâ çıkarımı neden giderek yeni bir bellek katmanına ihtiyaç duyuyor?

  • Büyük modeller içerik üretirken model parametrelerini ve önceki hesaplamalardan oluşan KV önbelleğini tekrar tekrar okumak zorundadır; bağlam uzadıkça erişilebilir tutulması gereken veri artar ve hesaplama birimleri veri beklerken boşta kalabilir.
  • MoE modelleri her seferinde uzmanların yalnızca bir bölümünü etkinleştirerek işlem başına hesaplama miktarını azaltır, ancak tüm parametrelerin yine de depolanması ve kullanılabilir olması gerekir. Veri ölçeği HBM'nin ekonomik biçimde barındırabileceği düzeyi aştığında talep diğer bellek ve depolama katmanlarına yayılır.
  • Önceki hesaplama sonuçlarını saklamanın da ekonomik değeri vardır: Rapora göre bazı yapay zekâ laboratuvarlarında ve Google'da önbelleğe alınmış tokenları okuma fiyatı, yeni girdi tokenlarının fiyatının yaklaşık %10 düzeyindedir; dolayısıyla mevcut bağlamın tekrar kullanılması hesaplama tasarrufu sağlayabilir.

HBF çıkarım maliyetini nasıl düşürür ve hangi sınırlamalarla karşı karşıyadır?

  • SanDisk, HBM'nin okuma bant genişliğine yaklaşırken 8 ila 16 kat kapasite sunmayı hedefliyor. Katmanlı mimaride HBM, aktif ve gecikmeye duyarlı verileri tutar; HBF ise daha az kullanılan model ağırlıklarını ve yeniden kullanılabilir önbelleği saklayarak yalnızca modeli barındırmak için yapılandırılan GPU ve HBM miktarını azaltır.
  • SanDisk'in 960 GB'lık Qwen modeli üzerinde yaptığı iç simülasyon, HBF çözümünün modeli tek GPU ile barındırabildiğini, yalnızca HBM kullanan çözümün ise en az sekiz GPU gerektirdiğini gösteriyor; HBF ile donatılmış dört GPU, HBM'li sekiz GPU'nun token çıktısına ulaşabiliyor.
  • HBF yüksek bant genişliğini paralel okumayla elde eder, ancak tek bir NAND erişiminin gecikmesi hâlâ DRAM'den yüksektir; küçük ve dağınık istekler de büyük miktarda gereksiz verinin okunmasına yol açabilir. Yazma işlemi daha yavaş ve kullanım ömrü sınırlı olduğundan, sık okunan ancak daha az güncellenen veriler için daha uygundur.

HBF, NAND arz ve talebini neden değiştirebilir?

  • Bernstein'ın temel senaryosuna göre HBF, aynı etkin kapasite için geleneksel TLC NAND'ın yaklaşık 6.5 katı yonga plakası kapasitesi tüketir. Hesaplama, hücre başına bir bit saklayan SLC kullanımını varsayar ve ek yonga alanı ile üretim verimi kayıplarını hesaba katar; nihai oran ürün yapılandırmasına ve üretim sürecine bağlıdır.
  • HBF kullanımı yaygınlaşırsa bir yandan yapay zekâ çıkarımı için NAND talebini artırırken diğer yandan plaka başına üretilen etkin kapasiteyi azaltarak sektör fiyatlarını desteklemeye yardımcı olur. Diğer yüksek performanslı flaş çözümleri de talebi artırabilir veya daha fazla kapasite kullanabilir; somut etki benimsenen teknolojiye bağlıdır.
  • Tek bir iş yükü için gereken HBM ve GPU miktarı azalabilir, ancak Bernstein daha düşük çıkarım maliyetinin yeterli sayıda yeni uygulama ve dağıtım getirmesi hâlinde toplam talebin yine de artabileceğini düşünüyor; HBM aktif verileri ve sık güncelleme görevlerini üstlenmeye devam edecek.

Daha yüksek maliyetler daha yüksek kâra dönüşebilir mi?

  • Bernstein'ın temel senaryosuna göre HBF'nin GB başına üretim maliyeti, kurumsal SSD'lerin yaklaşık 9.5 ila 11.5 katıdır. 16 katmanlı yığının modül başına maliyeti daha yüksek olsa da sabit maliyetler daha büyük kapasiteye dağıtıldığından GB başına maliyet 8 katmanlı yığından düşüktür.
  • Kuruluş, HBF ve HBM4 modüllerinin satış fiyatlarının birbirine yakın olduğunu ve HBF kapasitesinin HBM'nin 8 katı olduğunu varsayıyor; HBM4 fiyatının GB başına 38 dolar olduğu temel senaryoda HBF'nin fiyatı GB başına yaklaşık 4.75 dolardır. Buna göre 16 ve 8 katmanlı ürünlerin brüt kâr marjları sırasıyla %88,9 ve %86,5 olup SanDisk'in dördüncü mali çeyrekteki genel brüt kâr marjı olan %84,6 düzeyinin üzerindedir.
  • Bu kâr potansiyeli gerçek performansa, HBM fiyatlarına ve bellek döngüsüne, ayrıca HBF yonga, paketleme ve test maliyetlerine bağlıdır. Bernstein ayrıca HBM üreticilerinin stratejik değer elde etmek için sıradan DRAM'den daha düşük kâr marjlarını kabul edebileceğini, HBF için de benzer bir durumun yaşanabileceğini belirtiyor.

HBF'nin yaygın biçimde benimsenmesi önünde hangi engeller var?

  • HBF, verilerin HBM ile HBF arasında nasıl yerleştirileceğini, zamanlanacağını ve önceden getirileceğini belirlemek için işlemcilerin ve yazılımın birlikte yeniden tasarlanmasını gerektirir; ayrıca pahalı ve sınırlı gelişmiş paketleme alanı için hesaplama yongaları ve HBM ile rekabet etmelidir.
  • SanDisk, ilk HBF bellek yongasının tape-out aşamasını tamamladığını ve ilk çıkarım ürünlerinin örneklerinin 2027 yılında sunulmasının planlandığını belirtiyor. Google, Meta ve SK hynix ittifaka katılanlar arasında yer alıyor, ancak Bernstein NVIDIA'nın henüz HBF'yi resmen desteklemediğini ve CMX ile Storage Next gibi çözümleri öne çıkardığını belirtiyor.
  • SanDisk'in mevcut uzun vadeli finansal hedeflerine HBF dahil değil; Bernstein, gelecekte ürün hacmi artarsa bunun bu hedeflere ek katkı sağlayabileceğini düşünüyor.