為什麼AI推論愈來愈需要新的記憶體層？

  • 大型模型生成內容時，需要反覆讀取模型參數和先前運算形成的KV快取；上下文愈長，需要保持可存取的資料愈多，運算單元也可能因等待資料而閒置。
  • MoE模型每次只啟用部分專家，降低單次運算量，但完整參數仍需儲存並可供調用。資料規模超出HBM能經濟容納的範圍後，需求便向其他記憶體和儲存層擴展。
  • 保留先前運算結果也有經濟價值：報告稱，部分AI實驗室和Google的快取token讀取價格約為新輸入token的10%，因此重複調用既有上下文可以節省運算。

HBF如何降低推論成本，又受什麼限制？

  • SanDisk的目標是在接近HBM讀取頻寬的同時，提供8至16倍的容量。分層架構中，HBM保存活躍、對延遲敏感的資料；HBF保存較少使用的模型權重和可重用快取，從而減少僅為容納模型而配置的GPU和HBM。
  • SanDisk針對960GB Qwen模型的內部模擬顯示，HBF方案用一顆GPU即可容納模型，而純HBM方案至少需要八顆；四顆配備HBF的GPU可達到八顆HBM GPU的token輸出量。
  • HBF依靠平行讀取取得高頻寬，單次NAND存取延遲仍高於DRAM；小而零散的請求還可能讀取大量無用資料。其寫入較慢、壽命有限，因此更適合頻繁讀取但較少更新的資料。

為什麼HBF可能改變NAND供需？

  • Bernstein基本情境估計，相同有效容量的HBF約消耗傳統TLC NAND的6.5倍晶圓產能。測算假設使用每個儲存單元存一位元的SLC，並計入額外晶片面積和製造良率損耗；最終比例取決於產品配置與製程。
  • HBF若擴大應用，一方面為NAND增加AI推論需求，另一方面會減少每片晶圓產出的有效容量，有助支撐產業價格。其他高效能快閃記憶體方案也可能增加需求或占用更多產能，具體效果取決於採用的技術。
  • 單一工作負載所需的HBM和GPU可能減少，但Bernstein認為，若較低的推論成本帶來足夠多的新應用和部署，總需求仍可能成長；HBM仍承擔活躍資料和高頻更新任務。

更高成本能否轉化為更高利潤？

  • 按Bernstein基本情境，HBF每GB製造成本約為企業級SSD的9.5至11.5倍。16層堆疊雖然單模組成本更高，但固定成本分攤到更大的容量上，每GB成本低於8層堆疊。
  • 該行假設HBF與HBM4模組售價相近，且HBF容量為其8倍；在HBM4售價每GB 38美元的基本情境下，HBF售價約為每GB 4.75美元，對應16層和8層產品毛利率分別為88.9%和86.5%，高於SanDisk第四財季整體毛利率84.6%。
  • 這一利潤空間取決於實際效能、HBM價格和記憶體週期，以及HBF晶片、封裝和測試成本。Bernstein也指出，HBM廠商可能為取得策略價值而接受低於一般DRAM的利潤率，HBF也可能出現類似情況。

HBF距離廣泛採用還有哪些門檻？

  • HBF需要處理器和軟體共同重新設計，決定資料在HBM與HBF之間如何放置、排程和預取；它還要與運算晶片和HBM爭奪昂貴且有限的先進封裝空間。
  • SanDisk表示，首顆HBF記憶體晶片已完成流片，首批推論產品樣品計劃於2027年推出。Google、Meta和SK hynix等已加入聯盟，但Bernstein指出，NVIDIA尚未正式支援HBF，正推動CMX和Storage Next等方案。
  • SanDisk目前的長期財務目標未納入HBF；Bernstein認為，若未來產品放量，可能為這些目標帶來增量。