Chương trình và khách mời
Paper Club của Y Combinator (khoảng 1 giờ 50 phút 48 giây) do Y Combinator dẫn chương trình, với các nhà nghiên cứu và doanh nhân, bao gồm thành viên của Together AI và các nhóm khác, thảo luận về suy luận. Bài viết tổng hợp các luận điểm chính của cuộc thảo luận, không quy từng phát biểu cho từng người nói.
Quan điểm chính
(Phần dưới đây diễn đạt lại đúng ý của các khách mời; liên kết dấu thời gian dẫn đến vị trí tương ứng trong video gốc.)
- Suy luận quan trọng gấp 12 lần huấn luyện: lấy DeepSeek V3, với dữ liệu công khai, làm ví dụ, quá trình huấn luyện sử dụng khoảng 2,8 triệu giờ H800, trong khi việc phục vụ mỗi ngày sử dụng khoảng 43 nghìn giờ H800. Tính cho một bộ trọng số, năng lực tính toán dùng cho suy luận mỗi năm khoảng gấp 6 lần huấn luyện; với vòng đời 2 năm, con số là 12 lần. Càng nhiều người dùng, tỷ trọng này càng lớn. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=101s）
- Trong 10 năm qua, tối ưu hóa suy luận đã tạo ra khoảng 220 tỷ đô la Mỹ giá trị vốn hóa thị trường: suy luận không chỉ là gọi mô hình mà là một ngăn xếp đầy đủ gồm định tuyến, bộ nhớ đệm, lập lịch, kernel, bộ nhớ GPU và phần cứng; mỗi bước đều phải cân đối giữa tốc độ, chi phí và chất lượng. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=61s）
- Ngăn xếp phục vụ là chiến trường chi phí: từ định tuyến ở cấp yêu cầu đến những thay đổi âm thầm trên toàn bộ ngăn xếp phục vụ, mỗi lớp đều ảnh hưởng đến chi phí và độ trễ trên mỗi token. Các công ty vận hành suy luận kém sẽ “thua lỗ nặng” ở chi phí bán hàng. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=627s）
- Tầm quan trọng của suy luận vẫn đang tăng lên: khi AI trở nên phổ biến và ngày càng nhiều người dùng cùng một bộ trọng số, tỷ trọng suy luận trong tổng năng lực tính toán sẽ tiếp tục mở rộng, và cần tính lại trọng số tương đối giữa huấn luyện và suy luận. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=131s）
Bối cảnh và giải thích
Phụ đề bao phủ toàn bộ video (khoảng 1 giờ 50 phút 48 giây). Bài viết tổng hợp các luận điểm chính của cuộc thảo luận; do số này có nhiều người tham gia, nội dung không quy từng phát biểu cho từng người nói mà trình bày các luận điểm chung của chương trình. Dấu thời gian dẫn đến các đoạn thảo luận tương ứng.