Vì sao suy luận AI ngày càng cần một tầng bộ nhớ mới?

  • Khi mô hình lớn tạo nội dung, chúng phải liên tục đọc các tham số mô hình và bộ nhớ đệm KV hình thành từ những phép tính trước đó; ngữ cảnh càng dài, lượng dữ liệu cần duy trì khả năng truy cập càng lớn, và các đơn vị tính toán cũng có thể nhàn rỗi trong lúc chờ dữ liệu.
  • Mô hình MoE chỉ kích hoạt một phần chuyên gia mỗi lần, làm giảm khối lượng tính toán cho mỗi lượt, nhưng toàn bộ tham số vẫn phải được lưu trữ và sẵn sàng sử dụng. Khi quy mô dữ liệu vượt quá mức HBM có thể chứa một cách kinh tế, nhu cầu mở rộng sang các tầng bộ nhớ và lưu trữ khác.
  • Việc giữ lại kết quả tính toán trước đó cũng có giá trị kinh tế: báo cáo cho biết giá đọc token đã lưu trong bộ nhớ đệm tại một số phòng thí nghiệm AI và Google bằng khoảng 10% giá token đầu vào mới, do đó việc sử dụng lại ngữ cảnh sẵn có có thể tiết kiệm công tính toán.

HBF giảm chi phí suy luận như thế nào và có những hạn chế gì?

  • SanDisk đặt mục tiêu cung cấp dung lượng gấp 8 đến 16 lần trong khi đạt băng thông đọc gần bằng HBM. Trong kiến trúc phân tầng, HBM lưu dữ liệu đang hoạt động và nhạy cảm với độ trễ; HBF lưu trọng số mô hình ít được dùng hơn và bộ nhớ đệm có thể tái sử dụng, qua đó giảm số GPU và lượng HBM được trang bị chỉ để chứa mô hình.
  • Mô phỏng nội bộ của SanDisk đối với mô hình Qwen 960GB cho thấy phương án HBF có thể chứa mô hình chỉ với một GPU, trong khi phương án chỉ dùng HBM cần ít nhất tám GPU; bốn GPU trang bị HBF có thể đạt lượng token đầu ra bằng tám GPU HBM.
  • HBF đạt băng thông cao nhờ đọc song song, nhưng độ trễ của một lần truy cập NAND vẫn cao hơn DRAM; các yêu cầu nhỏ, phân tán cũng có thể đọc một lượng lớn dữ liệu không cần thiết. Tốc độ ghi chậm hơn và tuổi thọ hạn chế khiến HBF phù hợp hơn với dữ liệu được đọc thường xuyên nhưng ít cập nhật.

Vì sao HBF có thể thay đổi cung cầu NAND?

  • Kịch bản cơ sở của Bernstein ước tính với cùng dung lượng hữu dụng, HBF tiêu thụ năng lực wafer khoảng 6.5 lần NAND TLC truyền thống. Phép tính giả định sử dụng SLC lưu một bit trên mỗi ô, đồng thời tính đến diện tích chip bổ sung và hao hụt tỷ lệ sản xuất đạt chuẩn; tỷ lệ cuối cùng phụ thuộc vào cấu hình sản phẩm và quy trình.
  • Nếu HBF được ứng dụng rộng hơn, công nghệ này vừa tăng nhu cầu NAND cho suy luận AI, vừa làm giảm dung lượng hữu dụng tạo ra trên mỗi wafer, góp phần hỗ trợ giá trong ngành. Các giải pháp flash hiệu năng cao khác cũng có thể làm tăng nhu cầu hoặc chiếm thêm năng lực sản xuất; tác động cụ thể phụ thuộc vào công nghệ được áp dụng.
  • Lượng HBM và số GPU cần cho một khối lượng công việc có thể giảm, nhưng Bernstein cho rằng tổng nhu cầu vẫn có thể tăng nếu chi phí suy luận thấp hơn mang lại đủ nhiều ứng dụng và triển khai mới; HBM vẫn đảm nhiệm dữ liệu đang hoạt động và các tác vụ cập nhật thường xuyên.

Chi phí cao hơn có thể chuyển thành lợi nhuận cao hơn không?

  • Theo kịch bản cơ sở của Bernstein, chi phí sản xuất HBF trên mỗi GB khoảng 9.5 đến 11.5 lần SSD cấp doanh nghiệp. Dù ngăn xếp 16 lớp có chi phí mỗi mô-đun cao hơn, chi phí cố định được phân bổ trên dung lượng lớn hơn, nên chi phí mỗi GB thấp hơn ngăn xếp 8 lớp.
  • Tổ chức này giả định mô-đun HBF và HBM4 có giá bán gần nhau, và dung lượng HBF gấp 8 lần HBM; trong kịch bản cơ sở với giá HBM4 là 38 đô la mỗi GB, giá HBF khoảng 4.75 đô la mỗi GB, tương ứng biên lợi nhuận gộp lần lượt là 88,9% và 86,5% cho sản phẩm 16 lớp và 8 lớp, cao hơn biên lợi nhuận gộp chung 84,6% của SanDisk trong quý tài chính thứ tư.
  • Dư địa lợi nhuận này phụ thuộc vào hiệu năng thực tế, giá HBM và chu kỳ bộ nhớ, cũng như chi phí chip, đóng gói và kiểm thử HBF. Bernstein cũng chỉ ra rằng các nhà sản xuất HBM có thể chấp nhận biên lợi nhuận thấp hơn DRAM thông thường để đạt giá trị chiến lược, và điều tương tự có thể xảy ra với HBF.

HBF còn những rào cản nào trước khi được áp dụng rộng rãi?

  • HBF đòi hỏi bộ xử lý và phần mềm được thiết kế lại đồng bộ để quyết định cách bố trí, lập lịch và nạp trước dữ liệu giữa HBM và HBF; công nghệ này cũng phải cạnh tranh với chip tính toán và HBM để giành không gian đóng gói tiên tiến đắt đỏ và hạn chế.
  • SanDisk cho biết chip nhớ HBF đầu tiên đã hoàn tất tape-out, và các mẫu sản phẩm suy luận đầu tiên dự kiến ra mắt vào 2027. Google, Meta và SK hynix nằm trong số những thành viên đã gia nhập liên minh, nhưng Bernstein chỉ ra NVIDIA chưa chính thức hỗ trợ HBF và đang thúc đẩy các giải pháp như CMX và Storage Next.
  • Các mục tiêu tài chính dài hạn hiện tại của SanDisk chưa bao gồm HBF; Bernstein cho rằng nếu sản phẩm tăng sản lượng trong tương lai, chúng có thể đóng góp thêm vào các mục tiêu này.