¿Por qué la inferencia de IA necesita cada vez más una nueva capa de memoria?

  • Cuando los modelos grandes generan contenido, deben leer repetidamente los parámetros del modelo y la caché KV creada por cálculos anteriores; cuanto más largo es el contexto, más datos deben permanecer accesibles, y las unidades de cómputo pueden quedar inactivas mientras esperan datos.
  • Los modelos MoE activan solo una parte de los expertos en cada operación, lo que reduce el cálculo necesario, pero todos los parámetros deben seguir almacenados y disponibles. Cuando el volumen de datos supera lo que HBM puede alojar de forma económica, la demanda se extiende a otras capas de memoria y almacenamiento.
  • Conservar resultados de cálculos anteriores también tiene valor económico: el informe señala que algunos laboratorios de IA y Google cobran por leer tokens en caché aproximadamente 10% del precio de los nuevos tokens de entrada, por lo que reutilizar un contexto existente permite ahorrar cómputo.

¿Cómo reduce HBF el costo de inferencia y cuáles son sus limitaciones?

  • SanDisk busca ofrecer entre 8 y 16 veces más capacidad con un ancho de banda de lectura cercano al de HBM. En una arquitectura por capas, HBM guarda los datos activos y sensibles a la latencia; HBF almacena los pesos del modelo menos utilizados y la caché reutilizable, lo que reduce la cantidad de GPU y HBM instaladas únicamente para alojar el modelo.
  • Una simulación interna de SanDisk de un modelo Qwen de 960 GB muestra que una solución HBF puede alojar el modelo con una GPU, mientras que una solución basada solo en HBM necesita al menos ocho; cuatro GPU equipadas con HBF pueden igualar la producción de tokens de ocho GPU con HBM.
  • HBF logra un alto ancho de banda mediante lecturas paralelas, pero la latencia de un acceso individual a NAND sigue siendo mayor que la de DRAM; las solicitudes pequeñas y dispersas también pueden leer grandes cantidades de datos innecesarios. Su escritura es más lenta y su vida útil limitada, por lo que resulta más adecuada para datos que se leen con frecuencia pero se actualizan menos.

¿Por qué podría HBF cambiar la oferta y la demanda de NAND?

  • El escenario base de Bernstein estima que HBF consume aproximadamente 6.5 veces la capacidad de producción de obleas de la NAND TLC convencional para una misma capacidad efectiva. El cálculo supone el uso de SLC, que almacena un bit por celda, e incluye la superficie adicional de los chips y las pérdidas de rendimiento de fabricación; la proporción final depende de la configuración del producto y del proceso.
  • Si se amplía el uso de HBF, por un lado aumentará la demanda de NAND para inferencia de IA y, por otro, disminuirá la capacidad efectiva obtenida por oblea, lo que contribuirá a sostener los precios del sector. Otras soluciones flash de alto rendimiento también podrían aumentar la demanda u ocupar más capacidad; el efecto concreto dependerá de la tecnología adoptada.
  • La cantidad de HBM y GPU necesaria para una carga de trabajo individual podría disminuir, pero Bernstein considera que la demanda total aún podría crecer si el menor costo de inferencia genera suficientes aplicaciones e implementaciones nuevas; HBM seguirá gestionando los datos activos y las tareas de actualización frecuente.

¿Pueden los mayores costos traducirse en mayores beneficios?

  • Según el escenario base de Bernstein, el costo de fabricación de HBF por GB es aproximadamente entre 9.5 y 11.5 veces el de los SSD empresariales. Aunque una pila de 16 capas cuesta más por módulo, los costos fijos se reparten entre una capacidad mayor, por lo que el costo por GB es inferior al de una pila de 8 capas.
  • La firma supone que los módulos HBF y HBM4 tienen precios de venta similares y que HBF ofrece 8 veces la capacidad de HBM; en el escenario base, con HBM4 a 38 dólares por GB, HBF se vende por unos 4.75 dólares por GB, lo que corresponde a márgenes brutos de 88,9% y 86,5% para los productos de 16 y 8 capas, respectivamente, superiores al margen bruto global de SanDisk de 84,6% en el cuarto trimestre fiscal.
  • Este margen potencial depende del rendimiento real, los precios de HBM y el ciclo de la memoria, así como de los costos de los chips HBF, su encapsulado y sus pruebas. Bernstein también señala que los fabricantes de HBM podrían aceptar márgenes inferiores a los de la DRAM convencional para obtener valor estratégico, y que algo similar podría ocurrir con HBF.

¿Qué obstáculos debe superar HBF para lograr una adopción generalizada?

  • HBF requiere rediseñar conjuntamente los procesadores y el software para determinar cómo se ubican, programan y precargan los datos entre HBM y HBF; también debe competir con los chips de cómputo y HBM por el espacio de encapsulado avanzado, costoso y limitado.
  • SanDisk afirma que su primer chip de memoria HBF ha completado la etapa de tape-out y que las primeras muestras de productos de inferencia están previstas para 2027. Google, Meta y SK hynix figuran entre los miembros de la alianza, pero Bernstein señala que NVIDIA aún no ha respaldado formalmente HBF y está impulsando soluciones como CMX y Storage Next.
  • Los objetivos financieros a largo plazo actuales de SanDisk no incluyen HBF; Bernstein considera que, si los productos alcanzan un volumen significativo en el futuro, podrían aportar un incremento a esos objetivos.