O programa e os convidados
O Paper Club da Y Combinator (aproximadamente 1 hora, 50 minutos e 48 segundos), apresentado pela Y Combinator, reúne pesquisadores e empreendedores, incluindo integrantes da Together AI e de outras equipes, para discutir inferência. Este artigo reúne os principais argumentos da discussão sem atribuir cada fala a um participante específico.
Pontos principais
(Os trechos a seguir parafraseiam o sentido original das falas dos convidados; os links com marcação de tempo levam aos pontos correspondentes no vídeo original.)
- A inferência é 12 vezes mais importante que o treinamento: tomando como exemplo o DeepSeek V3, cujos dados são públicos, o treinamento usou aproximadamente 2,8 milhões horas de H800, enquanto o serviço usa aproximadamente 43 mil horas de H800 por dia. Para um único arquivo de pesos, a capacidade computacional anual de inferência é cerca de 6 vezes a do treinamento; ao longo de uma vida útil de 2 anos, chega a 12 vezes. Quanto mais usuários, maior sua participação. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=101s）
- Nos últimos 10 anos, a otimização da inferência criou aproximadamente 220 bilhões de dólares americanos em valor de mercado: a inferência não se resume a chamar um modelo, mas envolve uma pilha completa de roteamento, cache, escalonamento, kernels, memória de GPU e hardware. Em cada etapa é preciso equilibrar velocidade, custo e qualidade. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=61s）
- A pilha de serviço é o campo de batalha dos custos: do roteamento por solicitação às alterações silenciosas em toda a pilha de serviço, cada camada afeta o custo e a latência por token. Empresas que não executarem bem a inferência vão “perder até a camisa” no custo das vendas. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=627s）
- A importância da inferência continua crescendo: à medida que a IA se dissemina e mais usuários utilizam o mesmo arquivo de pesos, a participação da inferência na capacidade computacional total continuará a aumentar, e será necessário recalcular o peso relativo do treinamento e da inferência. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=131s）
Contexto e esclarecimentos
As legendas cobrem o vídeo inteiro (aproximadamente 1 hora, 50 minutos e 48 segundos). Este artigo reúne os principais argumentos da discussão; como o episódio conta com vários participantes, o texto não atribui cada fala a um interlocutor, apresentando os argumentos gerais do programa. As marcações de tempo apontam para os trechos correspondentes da discussão.