El programa y sus invitados
Paper Club de Y Combinator (aproximadamente 1 hora, 50 minutos y 48 segundos), presentado por Y Combinator, reúne a investigadores y emprendedores, incluidos miembros de Together AI y otros equipos, para debatir sobre la inferencia. Este artículo recoge los argumentos principales de la discusión sin atribuir cada declaración a un interlocutor concreto.
Ideas principales
(A continuación se parafrasea el sentido original de las intervenciones; los enlaces con marcas de tiempo permiten localizar los pasajes correspondientes del video original.)
- La inferencia es 12 veces más importante que el entrenamiento: tomando como ejemplo DeepSeek V3, cuyos datos son públicos, el entrenamiento utilizó aproximadamente 2,8 millones horas de H800, mientras que el servicio utiliza aproximadamente 43 mil horas de H800 al día. Para un único archivo de pesos, la capacidad de cómputo anual de inferencia es aproximadamente 6 veces la del entrenamiento; durante una vida útil de 2 años, es 12 veces mayor. Cuantos más usuarios hay, mayor es su proporción. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=101s）
- En los últimos 10 años, la optimización de la inferencia ha creado aproximadamente 220 mil millones de dólares estadounidenses en valor de mercado: la inferencia no consiste solo en llamar a un modelo, sino que abarca una pila completa de enrutamiento, caché, programación de tareas, kernels, memoria de GPU y hardware. En cada paso hay que sopesar velocidad, costo y calidad. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=61s）
- La pila de servicio es el campo de batalla de los costos: desde el enrutamiento de cada solicitud hasta los cambios silenciosos en toda la pila de servicio, cada capa afecta al costo y la latencia por token. Las empresas que no ejecuten bien la inferencia «perderán hasta la camisa» en el costo de ventas. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=627s）
- La importancia de la inferencia sigue aumentando: a medida que la IA se generaliza y más personas utilizan el mismo archivo de pesos, la proporción de la inferencia en la capacidad de cómputo total seguirá creciendo, y será necesario recalcular el peso relativo del entrenamiento y la inferencia. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=131s）
Contexto y aclaraciones
Los subtítulos cubren todo el video (aproximadamente 1 hora, 50 minutos y 48 segundos). Este artículo recoge los argumentos principales de la discusión; dado que en el episodio participan varias personas, el texto no atribuye cada intervención a un interlocutor, sino que presenta los argumentos generales del programa. Las marcas de tiempo apuntan a los segmentos correspondientes de la discusión.