Почему для инференса ИИ всё чаще нужен новый уровень памяти?

  • При генерации контента крупные модели многократно считывают параметры модели и кеш KV, сформированный предыдущими вычислениями. Чем длиннее контекст, тем больше данных должно оставаться доступным, а вычислительные блоки могут простаивать в ожидании данных.
  • Модели MoE каждый раз активируют лишь часть экспертов, сокращая объём вычислений на одну операцию, но полный набор параметров всё равно необходимо хранить и обеспечивать к нему доступ. Когда объём данных превышает экономически оправданную ёмкость HBM, спрос распространяется на другие уровни памяти и хранения.
  • Сохранение результатов предыдущих вычислений также имеет экономическую ценность: согласно отчёту, некоторые лаборатории ИИ и Google устанавливают цену чтения кешированных токенов примерно на уровне 10% от цены новых входных токенов, поэтому повторное использование существующего контекста позволяет сэкономить вычислительные ресурсы.

Как HBF снижает стоимость инференса и что ограничивает её применение?

  • SanDisk стремится обеспечить ёмкость в 8–16 раз больше при пропускной способности чтения, близкой к HBM. В многоуровневой архитектуре HBM хранит активные данные, чувствительные к задержкам; HBF хранит реже используемые веса модели и кеш для повторного использования, сокращая потребность в GPU и HBM, устанавливаемых только для размещения модели.
  • Внутреннее моделирование SanDisk для модели Qwen объёмом 960 ГБ показывает, что решение с HBF позволяет разместить модель на одном GPU, тогда как решению только с HBM требуется как минимум восемь; четыре GPU с HBF могут обеспечить такой же объём выдачи токенов, как восемь GPU с HBM.
  • HBF достигает высокой пропускной способности благодаря параллельному чтению, но задержка отдельного обращения к NAND по-прежнему выше, чем к DRAM; небольшие разрозненные запросы также могут приводить к чтению большого объёма ненужных данных. Запись в неё медленнее, а срок службы ограничен, поэтому она лучше подходит для данных, которые часто считываются, но реже обновляются.

Почему HBF может изменить спрос и предложение на рынке NAND?

  • В базовом сценарии Bernstein оценивает, что при одинаковой эффективной ёмкости HBF потребляет примерно в 6.5 раза больше мощностей по выпуску пластин, чем обычная TLC NAND. Расчёт предполагает использование SLC, хранящей один бит в ячейке, и учитывает дополнительную площадь чипов и потери производственного выхода; итоговое соотношение зависит от конфигурации продукта и технологии производства.
  • Если применение HBF расширится, это, с одной стороны, увеличит спрос на NAND для инференса ИИ, а с другой — снизит эффективную ёмкость, получаемую с каждой пластины, что поможет поддержать цены в отрасли. Другие высокопроизводительные решения на базе флеш-памяти также могут увеличить спрос или занять больше мощностей; конкретный эффект зависит от применяемой технологии.
  • Для отдельной рабочей нагрузки может потребоваться меньше HBM и GPU, но Bernstein считает, что совокупный спрос всё же может вырасти, если снижение стоимости инференса приведёт к появлению достаточного числа новых приложений и развёртываний; HBM по-прежнему будет обслуживать активные данные и задачи с частым обновлением.

Могут ли более высокие затраты обернуться более высокой прибылью?

  • Согласно базовому сценарию Bernstein, производственная стоимость HBF в расчёте на ГБ примерно в 9.5–11.5 раза выше, чем у корпоративных SSD. Хотя стек из 16 слоёв дороже в расчёте на модуль, постоянные затраты распределяются на большую ёмкость, поэтому стоимость на ГБ ниже, чем у стека из 8 слоёв.
  • Компания предполагает, что модули HBF и HBM4 продаются по близким ценам, а ёмкость HBF в 8 раз больше; в базовом сценарии при цене HBM4 в 38 долларов за ГБ цена HBF составляет около 4.75 долларов за ГБ, что соответствует валовой рентабельности продуктов из 16 и 8 слоёв в размере 88,9% и 86,5% соответственно, выше общей валовой рентабельности SanDisk в четвёртом финансовом квартале, составлявшей 84,6%.
  • Этот потенциал прибыли зависит от фактической производительности, цен на HBM и цикла рынка памяти, а также от затрат на чипы HBF, корпусирование и тестирование. Bernstein также отмечает, что производители HBM могут принять рентабельность ниже, чем у обычной DRAM, ради стратегической выгоды; аналогичная ситуация возможна и с HBF.

Какие препятствия остаются на пути широкого внедрения HBF?

  • Для HBF необходимо совместно переработать процессоры и программное обеспечение, определив размещение, планирование и предварительную загрузку данных между HBM и HBF; ей также придётся конкурировать с вычислительными чипами и HBM за дорогостоящее и ограниченное пространство передового корпусирования.
  • SanDisk сообщает, что первый чип памяти HBF прошёл этап tape-out, а образцы первых продуктов для инференса планируется представить в 2027 году. К альянсу присоединились Google, Meta и SK hynix, однако Bernstein отмечает, что NVIDIA пока официально не поддержала HBF и продвигает решения, такие как CMX и Storage Next.
  • Текущие долгосрочные финансовые цели SanDisk не включают HBF; Bernstein считает, что при будущем наращивании объёмов выпуска эти продукты могут дополнительно способствовать достижению целей.