Почему лёгкие модели популярны за рубежом?

  • Эксперт Together AI, опрошенный Nomura, заметил, что китайские модели с открытыми весами занимают лидирующее положение на наблюдаемом им зарубежном рынке таких моделей благодаря сочетанию возможностей и стоимости.
  • DeepSeek 4.1 Flash — одна из самых популярных моделей на платформе Together AI, по популярности она превосходит даже некоторые флагманские модели с открытыми весами: она справляется с повседневными задачами, а стоимость её инференса значительно ниже, чем у крупных флагманских моделей.
  • По мнению эксперта, китайские разработчики моделей будут одновременно развивать возможности передовых моделей и превращать технологические достижения в более экономичные модели для масштабного коммерческого применения.

Почему агенты могут увеличить спрос на инференс?

  • Эксперт заметил, что за рубежом использование моделей смещается от традиционных диалогов к агентным рабочим процессам. Последние часто предполагают более длинный контекст и несколько раундов инференса, потребляют значительно больше токенов на задачу и могут и далее поддерживать спрос на инференс.
  • Возможности модели, скорость инференса и общая стоимость использования остаются главными критериями выбора для разработчиков; крупные компании также учитывают конфиденциальность данных, расположение дата-центров и соблюдение нормативных требований.

Как Together AI обслуживает зарубежный спрос?

  • Together AI самостоятельно размещает модели с открытыми весами и обслуживает разработчиков и небольших клиентов, взимая плату в зависимости от использования токенов; локальное развёртывание за рубежом также позволяет компаниям с требованиями к размещению данных и соблюдению норм использовать эти модели.
  • Выделенный инференс предусматривает резервирование вычислительных мощностей GPU для крупных компаний и разработчиков моделей и настройку среды развёртывания. По словам эксперта, на это направление приходится значительно большая доля бизнеса Together AI в сфере инференса.
  • Некоторые китайские разработчики моделей сотрудничают с Together AI, отдавая приоритет использованию собственных вычислительных мощностей для обучения и разработки; Together AI предоставляет инфраструктуру и сервисы моделей, а разработчики сохраняют отношения с клиентами и доходы от API. Nomura считает это относительно малоёмким по активам способом расширения мощностей инференса.
  • Together AI также поставляет кластеры GPU и инфраструктуру дата-центров. По мнению эксперта, это может быть её крупнейшим источником выручки, однако валовая маржа здесь ниже, чем у услуг инференса.

От чего зависит преимущество в ценовой конкуренции на рынке инференса?

  • По мере усиления ценовой конкуренции в сфере API экономика инференса зависит не только от стоимости GPU, но и от того, сколько токенов можно обработать и какой доход можно получить за каждый час работы GPU. Повышение загрузки и пропускной способности помогает сохранять конкурентоспособность по издержкам и прибыльность.
  • По словам эксперта, DeepSeek обладает сильными инженерными компетенциями в области инференса; её публично представленный фреймворк DeepInfer может улучшить использование ресурсов и пропускную способность, однако оптимизация систем и интеграция инфраструктуры в производственной среде сложны, поэтому другим поставщикам трудно воспроизвести её фактическую эффективность. Together AI пытается адаптировать аналогичные технологии к собственным GPU и производственной среде.

С какими различными ограничениями связано трансграничное развёртывание?

  • Эксперт считает, что непосредственные коммерческие риски независимого размещения третьими сторонами моделей с публично доступными весами относительно невелики, но применимые лицензионные и нормативные требования по-прежнему необходимо соблюдать.
  • Выделенный инференс предполагает более прямые коммерческие отношения с китайскими разработчиками моделей, может подвергаться более пристальному надзору и сильнее зависеть от изменений в экспортном контроле технологий или ограничениях на трансграничное использование вычислительных мощностей. На момент интервью, по словам эксперта, недавние изменения в регулировании существенно не нарушили существующее сотрудничество.