為何輕量模型在海外受歡迎？

  • 野村訪談的 Together AI 專家觀察到，中國開放權重模型憑藉能力和成本的組合，在其觀察到的海外開放權重模型市場中處於領先地位。
  • DeepSeek 4.1 Flash 是 Together AI 平台上最受歡迎的模型之一，受歡迎程度甚至超過部分開放權重旗艦模型：它能滿足日常任務需求，而推論成本顯著低於大型旗艦模型。
  • 專家認為，中國模型開發商會同時推進前沿模型能力，並將技術成果轉化為成本效益更高的模型，用於大規模商業應用。

智慧代理為何可能增加推論需求？

  • 專家觀察到，海外模型使用正從傳統對話轉向智慧代理工作流程。後者通常涉及更長的上下文和多輪推論，單次任務消耗的 token 顯著更多，可能持續帶動推論需求。
  • 模型能力、推論速度和總使用成本仍是開發者選擇模型的主要考量；大型企業還會關注資料隱私、資料中心位置和法規遵循。

Together AI 如何承接海外需求？

  • Together AI 獨立託管開放權重模型，透過按 token 用量收費的服務面向開發者和較小型客戶；其海外本地部署也讓有資料駐留和法規遵循要求的企業能夠使用這些模型。
  • 專用推論則為大型企業和模型開發商預留 GPU 算力，並客製化部署環境。專家表示，這項業務在 Together AI 推論業務中佔的比例明顯更大。
  • 部分中國模型開發商與 Together AI 合作，將內部算力優先用於訓練和開發；Together AI 提供基礎設施和模型服務，開發商保留客戶關係及 API 收入。野村認為，這是一種相對輕資產的推論擴容方式。
  • Together AI 也交付 GPU 叢集和資料中心基礎設施。專家認為，這可能是其最大的收入來源，但毛利率低於推論服務。

在推論價格競爭中，優勢取決於什麼？

  • 隨著 API 價格競爭加劇，推論的經濟效益不僅取決於 GPU 成本，還取決於每個 GPU 小時能處理多少 token、產生多少收入。提高使用率和吞吐量有助於維持成本競爭力與利潤率。
  • 專家表示 DeepSeek 的推論工程能力較強；其公開的 DeepInfer 框架可改善資源使用和吞吐量，但生產環境中的系統最佳化和基礎設施整合複雜，其他服務商難以複製其實際效率。Together AI 正嘗試將類似技術適配自身 GPU 和生產環境。

跨境部署面臨哪些不同限制？

  • 專家認為，第三方獨立託管公開權重模型的即時商業風險相對較小，但仍須遵守適用的授權和監管規定。
  • 專用推論與中國模型開發商存在更直接的商業關係，可能面臨更多監管審查，也更容易受到技術出口管制或跨境算力限制變化的影響。截至訪談時，專家表示現有合作未受近期監管發展實質干擾。