Program dan tetamu
Paper Club Y Combinator (kira-kira 1 jam 50 minit 48 saat), yang dihoskan oleh Y Combinator, menghimpunkan penyelidik dan usahawan, termasuk anggota pasukan Together AI dan lain-lain, untuk membincangkan inferens. Artikel ini merumuskan hujah utama perbincangan tanpa mengaitkan setiap kenyataan dengan penutur tertentu.
Pandangan utama
(Berikut ialah parafrasa yang mengekalkan maksud asal tetamu; pautan cap masa menunjukkan lokasi yang sepadan dalam video asal.)
- Inferens 12 kali lebih penting daripada latihan: mengambil DeepSeek V3, yang datanya tersedia secara umum, sebagai contoh, latihan menggunakan kira-kira 2.8 juta jam H800, manakala penyajian setiap hari menggunakan kira-kira 43 ribu jam H800. Bagi satu set fail pemberat, kuasa pengkomputeran inferens setahun adalah kira-kira 6 kali ganda berbanding latihan; bagi jangka hayat 2 tahun, jumlahnya menjadi 12 kali ganda. Semakin ramai pengguna, semakin besar bahagiannya. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=101s）
- Dalam tempoh 10 tahun lalu, pengoptimuman inferens telah mencipta nilai pasaran kira-kira 220 bilion dolar AS: inferens bukan sekadar memanggil model, tetapi melibatkan tindanan penuh yang terdiri daripada penghalaan, caching, penjadualan, kernel, memori GPU dan perkakasan. Setiap langkah memerlukan pertimbangan antara kelajuan, kos dan kualiti. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=61s）
- Tindanan penyajian ialah medan persaingan kos: daripada penghalaan pada peringkat permintaan hingga perubahan senyap di seluruh tindanan penyajian, setiap lapisan mempengaruhi kos dan kependaman bagi setiap token. Syarikat yang tidak dapat menjalankan inferens dengan baik akan “rugi teruk” pada kos jualan. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=627s）
- Kepentingan inferens terus meningkat: apabila AI semakin meluas dan semakin ramai pengguna menggunakan set fail pemberat yang sama, bahagian inferens dalam jumlah kuasa pengkomputeran akan terus bertambah, dan kepentingan relatif latihan serta inferens mesti dikira semula. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=131s）
Latar belakang dan penjelasan
Sari kata merangkumi keseluruhan video (kira-kira 1 jam 50 minit 48 saat). Artikel ini merumuskan hujah utama perbincangan; kerana episod ini melibatkan beberapa orang penutur, teksnya tidak mengaitkan setiap kenyataan dengan penutur tertentu, sebaliknya membentangkan hujah program secara keseluruhan. Cap masa merujuk kepada bahagian perbincangan yang berkaitan.