为什么AI推理越来越需要新的内存层？

  • 大模型生成内容时，需要反复读取模型参数和此前计算形成的KV缓存；上下文越长，需要保持可访问的数据越多，计算单元也可能因等待数据而闲置。
  • MoE模型每次只激活部分专家，降低了单次计算量，但完整参数仍需存储并可供调用。数据规模超出HBM能经济容纳的范围后，需求便向其他内存和存储层扩展。
  • 保留此前计算结果也有经济价值：报告称，部分AI实验室和Google的缓存token读取价格约为新输入token的10%，因此重复调用已有上下文可以节省计算。

HBF怎样降低推理成本，又受什么限制？

  • SanDisk的目标是在接近HBM读取带宽的同时，提供8至16倍的容量。分层架构中，HBM保存活跃、对延迟敏感的数据；HBF保存较少使用的模型权重和可复用缓存，从而减少仅为容纳模型而配置的GPU和HBM。
  • SanDisk对960GB Qwen模型的内部模拟显示，HBF方案用一颗GPU即可容纳模型，而纯HBM方案至少需要八颗；四颗配备HBF的GPU可达到八颗HBM GPU的token输出。
  • HBF依靠并行读取取得高带宽，单次NAND访问延迟仍高于DRAM；小而零散的请求还可能读取大量无用数据。其写入较慢、寿命有限，因而更适合频繁读取但较少更新的数据。

为什么HBF可能改变NAND供需？

  • Bernstein基本情景估计，同等有效容量的HBF约消耗传统TLC NAND的6.5倍晶圆产能。测算假设使用每单元存一比特的SLC，并计入额外芯片面积和制造良率损耗；最终比例取决于产品配置与工艺。
  • HBF如果扩大应用，一方面为NAND增加AI推理需求，另一方面会减少每片晶圆产出的有效容量，有助于支撑行业价格。其他高性能闪存方案也可能增加需求或占用更多产能，具体效果取决于采用的技术。
  • 单个工作负载所需的HBM和GPU可能减少，但Bernstein认为，若更低的推理成本带来足够多的新应用和部署，总需求仍可能增长；HBM仍承担活跃数据和高频更新任务。

更高成本能否转化为更高利润？

  • 按Bernstein基本情景，HBF每GB制造成本约为企业级SSD的9.5至11.5倍。16层堆栈虽单模块成本更高，但固定成本分摊到更大的容量上，每GB成本低于8层堆栈。
  • 该行假设HBF与HBM4模块售价相近，且HBF容量为其8倍；在HBM4售价每GB 38美元的基本情景下，HBF售价约为每GB 4.75美元，对应16层和8层产品毛利率分别为88.9%和86.5%，高于SanDisk第四财季整体毛利率84.6%。
  • 这一利润空间取决于实际性能、HBM价格和存储周期，以及HBF芯片、封装和测试成本。Bernstein也指出，HBM厂商可能接受低于普通DRAM的利润率以获取战略价值，HBF也可能出现类似情况。

HBF距离广泛采用还有哪些门槛？

  • HBF需要处理器和软件共同重新设计，决定数据在HBM与HBF之间如何放置、调度和预取；它还要与计算芯片和HBM争夺昂贵且有限的先进封装空间。
  • SanDisk表示，首颗HBF内存芯片已完成流片，首批推理产品样品计划于2027年推出。Google、Meta和SK hynix等已加入联盟，但Bernstein指出，NVIDIA尚未正式支持HBF，正推动CMX和Storage Next等方案。
  • SanDisk目前的长期财务目标未纳入HBF；Bernstein认为，若未来产品放量，可能为这些目标带来增量。