Các mô hình nhẹ với trọng số mở của Trung Quốc mở rộng ra nước ngoài: chi phí suy luận thấp thúc đẩy nhu cầu, hiệu quả tính toán quyết định năng lực cạnh tranh

Vì sao các mô hình nhẹ được ưa chuộng ở nước ngoài?

Chuyên gia Together AI được Nomura phỏng vấn nhận thấy các mô hình trọng số mở của Trung Quốc giữ vị trí dẫn đầu trong thị trường mô hình trọng số mở ở nước ngoài mà ông quan sát, nhờ sự kết hợp giữa năng lực và chi phí.
DeepSeek 4.1 Flash là một trong những mô hình được ưa chuộng nhất trên nền tảng Together AI, thậm chí vượt một số mô hình trọng số mở hàng đầu: mô hình đáp ứng được các tác vụ thường ngày, trong khi chi phí suy luận thấp hơn đáng kể so với các mô hình hàng đầu quy mô lớn.
Chuyên gia cho rằng các nhà phát triển mô hình Trung Quốc sẽ đồng thời nâng cao năng lực của các mô hình tiên tiến và chuyển thành quả công nghệ thành những mô hình hiệu quả chi phí hơn để ứng dụng thương mại trên quy mô lớn.

Chuyên gia nhận thấy việc sử dụng mô hình ở nước ngoài đang chuyển từ hội thoại truyền thống sang quy trình làm việc của tác tử. Các quy trình này thường có ngữ cảnh dài hơn và nhiều lượt suy luận, tiêu thụ nhiều token hơn đáng kể cho mỗi tác vụ và có thể tiếp tục thúc đẩy nhu cầu suy luận.
Năng lực mô hình, tốc độ suy luận và tổng chi phí sử dụng vẫn là những yếu tố chính mà nhà phát triển cân nhắc khi lựa chọn; doanh nghiệp lớn còn quan tâm đến quyền riêng tư dữ liệu, vị trí trung tâm dữ liệu và tuân thủ quy định.

Together AI lưu trữ độc lập các mô hình trọng số mở, phục vụ nhà phát triển và khách hàng nhỏ hơn thông qua dịch vụ tính phí theo lượng token sử dụng; việc triển khai tại địa phương ở nước ngoài cũng cho phép các doanh nghiệp có yêu cầu về lưu trú dữ liệu và tuân thủ sử dụng các mô hình này.
Dịch vụ suy luận chuyên dụng dành riêng năng lực tính toán GPU cho các doanh nghiệp lớn và nhà phát triển mô hình, đồng thời tùy chỉnh môi trường triển khai. Chuyên gia cho biết mảng này chiếm tỷ trọng lớn hơn đáng kể trong hoạt động kinh doanh suy luận của Together AI.
Một số nhà phát triển mô hình Trung Quốc hợp tác với Together AI, ưu tiên năng lực tính toán nội bộ cho huấn luyện và phát triển; Together AI cung cấp hạ tầng và dịch vụ mô hình, còn các nhà phát triển giữ quan hệ khách hàng và doanh thu API. Nomura cho rằng đây là cách mở rộng năng lực suy luận tương đối ít phụ thuộc vào tài sản.
Together AI cũng cung cấp cụm GPU và hạ tầng trung tâm dữ liệu. Chuyên gia cho rằng đây có thể là nguồn doanh thu lớn nhất của công ty, nhưng biên lợi nhuận gộp thấp hơn dịch vụ suy luận.

Khi cạnh tranh giá API gia tăng, hiệu quả kinh tế của suy luận không chỉ phụ thuộc vào chi phí GPU mà còn phụ thuộc vào số token có thể xử lý và doanh thu có thể tạo ra trên mỗi giờ GPU. Nâng cao tỷ lệ sử dụng và thông lượng giúp duy trì khả năng cạnh tranh về chi phí và biên lợi nhuận.
Chuyên gia cho biết DeepSeek có năng lực kỹ thuật suy luận mạnh; framework DeepInfer được công bố của hãng có thể cải thiện mức sử dụng tài nguyên và thông lượng, nhưng tối ưu hệ thống và tích hợp hạ tầng trong môi trường sản xuất rất phức tạp, khiến các nhà cung cấp khác khó sao chép hiệu quả thực tế của hãng. Together AI đang thử điều chỉnh công nghệ tương tự cho GPU và môi trường sản xuất của mình.

Chuyên gia cho rằng rủi ro thương mại trước mắt khi bên thứ ba lưu trữ độc lập các mô hình có trọng số được công bố là tương đối nhỏ, nhưng vẫn phải tuân thủ các quy định cấp phép và quản lý hiện hành.
Suy luận chuyên dụng gắn với quan hệ thương mại trực tiếp hơn với các nhà phát triển mô hình Trung Quốc, có thể chịu sự giám sát pháp lý chặt chẽ hơn và dễ bị ảnh hưởng hơn bởi những thay đổi trong kiểm soát xuất khẩu công nghệ hoặc hạn chế năng lực tính toán xuyên biên giới. Tại thời điểm phỏng vấn, chuyên gia cho biết các hợp tác hiện có chưa bị gián đoạn đáng kể bởi những diễn biến pháp lý gần đây.