节目与嘉宾

Y Combinator《Paper Club》(约 1 小时 50 分 48 秒),由 Y Combinator 主持,研究者与创业者(包括 Together AI 等团队成员)围绕推理展开讨论。本稿整理本期讨论的核心论点,不逐一归属每位发言人的原话。

核心观点

(以下为嘉宾原意转述,时间戳链接可定位原视频对应位置。)

  • 推理比训练重要 12 倍:以公开数据的 DeepSeek V3 为例,训练约用 280 万个 H800 小时,而每天服务约用 4.3 万个 H800 小时;按单份权重文件每年算,推理算力约是训练的 6 倍,按 2 年寿命算就是 12 倍,且用户越多、比重越大。(https://www.youtube.com/watch?v=mHNKuH-9OxU&t=101s)
  • 过去 10 年,推理优化已创造约 2200 亿美元市值:推理不只是调用模型,而是路由、缓存、调度、内核、显存与硬件组成的全栈,每一步都要在速度、成本与质量之间取舍。(https://www.youtube.com/watch?v=mHNKuH-9OxU&t=61s)
  • 服务栈是成本战场:从请求级路由到整个服务栈的静默变更,每一层都会影响单位 token 的成本与延迟,跑不好推理的公司会在销售成本上“亏掉衬衫”。(https://www.youtube.com/watch?v=mHNKuH-9OxU&t=627s)
  • 推理的重要性还在上升:随着 AI 普及、同一份权重文件的用户越来越多,推理在总算力中的占比只会继续扩大,训练与推理的权重必须重新算账。(https://www.youtube.com/watch?v=mHNKuH-9OxU&t=131s)

背景与说明

字幕覆盖全片(约 1 小时 50 分 48 秒),本稿整理本期讨论的核心论点;因本期为多人讨论,正文不逐一归属发言人,仅以节目整体论点呈现,时间戳指向对应讨论段落。

来源链接