Acara dan narasumber

Paper Club Y Combinator (sekitar 1 jam 50 menit 48 detik), yang dipandu oleh Y Combinator, mempertemukan peneliti dan wirausahawan, termasuk anggota tim Together AI dan tim lainnya, untuk membahas inferensi. Artikel ini merangkum argumen utama diskusi tanpa mengatribusikan setiap pernyataan kepada pembicara tertentu.

Pokok-pokok pandangan

(Berikut adalah parafrasa yang mempertahankan maksud narasumber; tautan penanda waktu mengarah ke bagian yang sesuai dalam video asli.)

  • Inferensi 12 kali lebih penting daripada pelatihan: dengan DeepSeek V3, yang datanya tersedia secara publik, sebagai contoh, pelatihan menggunakan sekitar 2,8 juta jam H800, sedangkan layanan setiap hari menggunakan sekitar 43 ribu jam H800. Untuk satu berkas bobot, daya komputasi inferensi per tahun sekitar 6 kali lipat daya komputasi pelatihan; selama masa pakai 2 tahun, angkanya menjadi 12 kali lipat. Semakin banyak pengguna, semakin besar porsinya. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=101s）
  • Selama 10 tahun terakhir, optimalisasi inferensi telah menciptakan nilai pasar sekitar 220 miliar dolar AS: inferensi bukan sekadar memanggil model, melainkan mencakup seluruh tumpukan yang terdiri atas perutean, caching, penjadwalan, kernel, memori GPU, dan perangkat keras. Setiap langkah menuntut pertimbangan antara kecepatan, biaya, dan kualitas. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=61s）
  • Tumpukan layanan adalah medan persaingan biaya: dari perutean pada tingkat permintaan hingga perubahan senyap di seluruh tumpukan layanan, setiap lapisan memengaruhi biaya dan latensi per token. Perusahaan yang tidak mampu menjalankan inferensi dengan baik akan “rugi besar” pada biaya penjualan. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=627s）
  • Pentingnya inferensi terus meningkat: seiring meluasnya penggunaan AI dan bertambahnya pengguna berkas bobot yang sama, porsi inferensi dalam total daya komputasi akan terus membesar, dan bobot relatif pelatihan serta inferensi harus dihitung ulang. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=131s）

Latar belakang dan penjelasan

Takarir mencakup seluruh video (sekitar 1 jam 50 menit 48 detik). Artikel ini merangkum argumen utama diskusi; karena episode ini melibatkan banyak pembicara, teks tidak mengatribusikan setiap pernyataan kepada pembicara tertentu, melainkan menyajikan argumen acara secara keseluruhan. Penanda waktu mengarah ke bagian diskusi yang sesuai.

Tautan sumber