¿Por qué son populares los modelos ligeros en el exterior?

  • El experto de Together AI entrevistado por Nomura observó que los modelos chinos de pesos abiertos ocupan una posición de liderazgo en el mercado exterior de estos modelos que ha observado, gracias a su combinación de capacidad y costo.
  • DeepSeek 4.1 Flash es uno de los modelos más populares de la plataforma Together AI, y supera incluso a algunos modelos insignia de pesos abiertos: satisface las necesidades de las tareas cotidianas, mientras que su costo de inferencia es considerablemente inferior al de los grandes modelos insignia.
  • El experto considera que los desarrolladores chinos de modelos avanzarán al mismo tiempo en las capacidades de los modelos de frontera y transformarán los resultados tecnológicos en modelos más eficientes en costos para aplicaciones comerciales a gran escala.

¿Por qué podrían los agentes aumentar la demanda de inferencia?

  • El experto observó que el uso de modelos en el exterior está pasando de las conversaciones tradicionales a los flujos de trabajo de agentes. Estos suelen implicar contextos más extensos y varias rondas de inferencia, consumen muchos más tokens por tarea y podrían seguir impulsando la demanda de inferencia.
  • Las capacidades del modelo, la velocidad de inferencia y el costo total de uso siguen siendo las principales consideraciones de los desarrolladores al elegir un modelo; las grandes empresas también prestan atención a la privacidad de los datos, la ubicación de los centros de datos y el cumplimiento normativo.

¿Cómo atiende Together AI la demanda en el exterior?

  • Together AI aloja de forma independiente modelos de pesos abiertos y presta servicios a desarrolladores y clientes más pequeños mediante una tarifa basada en el uso de tokens; sus despliegues locales en el exterior también permiten utilizar estos modelos a empresas con requisitos de residencia de datos y cumplimiento normativo.
  • La inferencia dedicada reserva capacidad de cómputo de GPU para grandes empresas y desarrolladores de modelos y adapta el entorno de despliegue. Según el experto, esta actividad representa una proporción considerablemente mayor del negocio de inferencia de Together AI.
  • Algunos desarrolladores chinos de modelos colaboran con Together AI y priorizan su capacidad de cómputo interna para el entrenamiento y el desarrollo; Together AI proporciona infraestructura y servicios de modelos, mientras los desarrolladores conservan la relación con los clientes y los ingresos por API. Nomura considera que esta es una forma relativamente ligera en activos de ampliar la capacidad de inferencia.
  • Together AI también suministra clústeres de GPU e infraestructura de centros de datos. El experto considera que esta podría ser su mayor fuente de ingresos, aunque su margen bruto es inferior al de los servicios de inferencia.

¿De qué depende la ventaja en la competencia de precios de inferencia?

  • A medida que se intensifica la competencia de precios de las API, la rentabilidad de la inferencia depende no solo del costo de las GPU, sino también de cuántos tokens se pueden procesar y cuántos ingresos se pueden generar por cada hora de GPU. Mejorar la utilización y la capacidad de procesamiento ayuda a mantener la competitividad en costos y los márgenes de beneficio.
  • El experto afirma que DeepSeek tiene sólidas capacidades de ingeniería de inferencia; su marco DeepInfer, publicado abiertamente, puede mejorar el uso de recursos y la capacidad de procesamiento, pero la optimización de sistemas y la integración de infraestructura en entornos de producción son complejas, lo que dificulta que otros proveedores reproduzcan su eficiencia real. Together AI intenta adaptar tecnologías similares a sus propias GPU y a su entorno de producción.

¿Qué restricciones distintas afronta el despliegue transfronterizo?

  • El experto considera que el riesgo comercial inmediato del alojamiento independiente por terceros de modelos con pesos públicos es relativamente bajo, aunque deben cumplirse los requisitos aplicables de licencia y regulación.
  • La inferencia dedicada implica una relación comercial más directa con los desarrolladores chinos de modelos, puede afrontar un mayor escrutinio regulatorio y es más vulnerable a cambios en los controles de exportación de tecnología o las restricciones al cómputo transfronterizo. En el momento de la entrevista, el experto afirmó que las colaboraciones existentes no se habían visto perturbadas de manera sustancial por los acontecimientos regulatorios recientes.