Por que a inferência de IA precisa cada vez mais de uma nova camada de memória?

  • Quando modelos de grande porte geram conteúdo, precisam ler repetidamente os parâmetros do modelo e o cache KV formado por cálculos anteriores; quanto maior o contexto, mais dados precisam permanecer acessíveis, e as unidades de computação podem ficar ociosas enquanto aguardam dados.
  • Modelos MoE ativam apenas parte dos especialistas a cada operação, reduzindo o volume de cálculo, mas todos os parâmetros ainda precisam ser armazenados e estar disponíveis para uso. Quando o volume de dados supera o que a HBM pode acomodar economicamente, a demanda se estende a outras camadas de memória e armazenamento.
  • Preservar resultados de cálculos anteriores também tem valor econômico: o relatório afirma que alguns laboratórios de IA e o Google cobram pela leitura de tokens em cache cerca de 10% do preço dos novos tokens de entrada, de modo que reutilizar um contexto existente pode economizar processamento.

Como o HBF reduz o custo de inferência e quais são suas limitações?

  • A SanDisk pretende oferecer capacidade de 8 a 16 vezes maior, com largura de banda de leitura próxima à da HBM. Em uma arquitetura em camadas, a HBM guarda dados ativos e sensíveis à latência; o HBF armazena pesos de modelo menos usados e cache reutilizável, reduzindo a quantidade de GPUs e HBM instaladas apenas para acomodar o modelo.
  • Uma simulação interna da SanDisk de um modelo Qwen de 960 GB mostra que uma solução HBF pode acomodar o modelo com uma GPU, enquanto uma solução apenas com HBM precisa de pelo menos oito; quatro GPUs equipadas com HBF podem igualar a produção de tokens de oito GPUs com HBM.
  • O HBF obtém alta largura de banda por meio de leituras paralelas, mas a latência de um único acesso à NAND continua maior que a da DRAM; solicitações pequenas e dispersas também podem ler grandes quantidades de dados desnecessários. Sua gravação é mais lenta e sua vida útil é limitada, tornando-o mais adequado a dados lidos com frequência, mas atualizados com menos frequência.

Por que o HBF pode alterar a oferta e a demanda de NAND?

  • O cenário-base do Bernstein estima que, para a mesma capacidade efetiva, o HBF consome cerca de 6.5 vezes a capacidade de produção de wafers da NAND TLC convencional. O cálculo pressupõe o uso de SLC, que armazena um bit por célula, e considera a área adicional dos chips e as perdas de rendimento na fabricação; a proporção final depende da configuração do produto e do processo.
  • Se a aplicação do HBF se expandir, ela aumentará a demanda por NAND para inferência de IA e, ao mesmo tempo, reduzirá a capacidade efetiva produzida por wafer, ajudando a sustentar os preços do setor. Outras soluções flash de alto desempenho também podem aumentar a demanda ou ocupar mais capacidade; o efeito específico depende da tecnologia adotada.
  • A quantidade de HBM e GPUs necessária para uma carga de trabalho individual pode diminuir, mas o Bernstein acredita que a demanda total ainda pode crescer se o menor custo de inferência trouxer aplicações e implantações novas em número suficiente; a HBM continuará responsável por dados ativos e tarefas de atualização frequente.

Custos mais altos podem se traduzir em lucros maiores?

  • Segundo o cenário-base do Bernstein, o custo de fabricação do HBF por GB é cerca de 9.5 a 11.5 vezes o de SSDs empresariais. Embora uma pilha de 16 camadas tenha custo maior por módulo, os custos fixos são distribuídos por uma capacidade maior, de modo que o custo por GB é inferior ao de uma pilha de 8 camadas.
  • A instituição pressupõe que os módulos HBF e HBM4 tenham preços de venda semelhantes e que a capacidade do HBF seja 8 vezes a da HBM; no cenário-base, com a HBM4 vendida a 38 dólares por GB, o HBF custa cerca de 4.75 dólares por GB, correspondendo a margens brutas de 88,9% e 86,5% para os produtos de 16 e 8 camadas, respectivamente, acima da margem bruta geral de 84,6% da SanDisk no quarto trimestre fiscal.
  • Esse potencial de margem depende do desempenho real, dos preços da HBM e do ciclo de memória, bem como dos custos dos chips HBF, de encapsulamento e de testes. O Bernstein também observa que os fabricantes de HBM podem aceitar margens inferiores às da DRAM convencional para obter valor estratégico, e que algo semelhante pode ocorrer com o HBF.

Quais obstáculos ainda impedem a adoção ampla do HBF?

  • O HBF exige o redesenho conjunto de processadores e software para determinar como os dados são posicionados, programados e pré-buscados entre a HBM e o HBF; ele também precisa disputar com chips de computação e HBM o espaço caro e limitado de encapsulamento avançado.
  • A SanDisk afirma que seu primeiro chip de memória HBF concluiu o tape-out e que as primeiras amostras de produtos de inferência estão previstas para 2027. Google, Meta e SK hynix estão entre os integrantes da aliança, mas o Bernstein observa que a NVIDIA ainda não apoiou formalmente o HBF e está promovendo soluções como CMX e Storage Next.
  • As atuais metas financeiras de longo prazo da SanDisk não incluem o HBF; o Bernstein acredita que, se os produtos ganharem escala no futuro, poderão acrescentar resultados a essas metas.