为什么轻量模型在海外受欢迎？

  • 野村访谈的 Together AI 专家观察到，中国开权重模型凭借能力和成本的组合，在其观察到的海外开权重模型市场中处于领先位置。
  • DeepSeek 4.1 Flash 是 Together AI 平台上最受欢迎的模型之一，受欢迎程度甚至超过部分开权重旗舰模型：它能满足日常任务，而推理成本显著低于大型旗舰模型。
  • 专家认为，中国模型开发商会同时推进前沿模型能力，并将技术成果转化为更具成本效率的模型，用于大规模商业应用。

智能体为什么可能增加推理需求？

  • 专家观察到，海外模型使用正从传统对话转向智能体工作流。后者常涉及更长的上下文和多轮推理，单次任务消耗的 token 显著更多，可能持续带动推理需求。
  • 模型能力、推理速度和总使用成本仍是开发者选型的主要考虑；大型企业还会关注数据隐私、数据中心位置和监管合规。

Together AI 如何承接海外需求？

  • Together AI 独立托管开权重模型，通过按 token 用量收费的服务面向开发者和较小客户；其海外本地部署也让有数据驻留和合规要求的企业能够调用这些模型。
  • 专用推理则为大型企业和模型开发商预留 GPU 算力并定制部署环境。专家称，这项业务占 Together AI 推理业务的比例明显更大。
  • 部分中国模型开发商与 Together AI 合作，将内部算力优先用于训练和开发；Together AI 提供基础设施和模型服务，开发商保留客户关系及 API 收入。野村认为，这是一种相对轻资产的推理扩容方式。
  • Together AI 也交付 GPU 集群和数据中心基础设施。专家认为，这可能是其最大的收入来源，但毛利率低于推理服务。

推理价格竞争中，优势取决于什么？

  • 随着 API 价格竞争加剧，推理经济性不仅取决于 GPU 成本，还取决于每个 GPU 小时能处理多少 token、产生多少收入。提高利用率和吞吐量有助于维持成本竞争力与利润率。
  • 专家称 DeepSeek 的推理工程能力较强；其公开的 DeepInfer 框架可改善资源利用和吞吐量，但生产环境中的系统优化和基础设施整合复杂，其他服务商难以复制其实际效率。Together AI 正尝试将类似技术适配自身 GPU 和生产环境。

跨境部署面临哪些不同约束？

  • 专家认为，第三方独立托管公开权重模型的即时商业风险相对较小，但仍须遵守适用的许可和监管规定。
  • 专用推理与中国模型开发商存在更直接的商业关系，可能面临更多监管审查，也更容易受到技术出口管制或跨境算力限制变化的影响。截至访谈时，专家称现有合作未受近期监管发展实质干扰。