Program ve konuklar
Y Combinator’ın sunduğu Paper Club’da (yaklaşık 1 saat 50 dakika 48 saniye), Together AI ve diğer ekiplerin üyeleri de dahil olmak üzere araştırmacılar ve girişimciler çıkarımı tartışıyor. Bu yazı, her ifadeyi tek tek konuşmacılara atfetmeden tartışmanın temel argümanlarını derliyor.
Temel görüşler
(Aşağıda konukların görüşleri asıl anlamları korunarak aktarılmıştır; zaman damgalı bağlantılar orijinal videodaki ilgili bölümlere yönlendirir.)
- Çıkarım eğitimden 12 kat daha önemli: Verileri kamuya açık olan DeepSeek V3 örneğinde, eğitim için yaklaşık 2,8 milyon H800 saati kullanılırken günlük sunum için yaklaşık 43 bin H800 saati kullanılıyor. Tek bir ağırlık dosyası için yıllık çıkarım hesaplama gücü, eğitim için kullanılanın yaklaşık 6 katı; 2 yıllık kullanım ömrü esas alındığında ise 12 katı oluyor. Kullanıcı sayısı arttıkça bu oran da büyüyor. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=101s）
- Çıkarım optimizasyonu son 10 yılda yaklaşık 220 milyar ABD doları piyasa değeri yarattı: Çıkarım yalnızca modeli çağırmaktan ibaret değil; yönlendirme, önbellekleme, zamanlama, çekirdekler, GPU belleği ve donanımdan oluşan tam bir yığını kapsıyor. Her adımda hız, maliyet ve kalite arasında tercih yapmak gerekiyor. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=61s）
- Sunum yığını maliyet mücadelesinin alanı: İstek düzeyindeki yönlendirmeden tüm sunum yığınındaki sessiz değişikliklere kadar her katman, token başına maliyeti ve gecikmeyi etkiler. Çıkarımı iyi çalıştıramayan şirketler satış maliyetlerinde “gömleklerine kadar kaybeder”. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=627s）
- Çıkarımın önemi artmaya devam ediyor: Yapay zekâ yaygınlaştıkça ve aynı ağırlık dosyasını kullananların sayısı arttıkça, çıkarımın toplam hesaplama gücündeki payı büyümeyi sürdürecek; eğitim ve çıkarımın göreli ağırlığı yeniden hesaplanmak zorunda. (https://www.youtube.com/watch?v=mHNKuH-9OxU&t=131s）
Arka plan ve açıklamalar
Altyazılar videonun tamamını kapsıyor (yaklaşık 1 saat 50 dakika 48 saniye). Bu yazı tartışmanın temel argümanlarını derliyor; bölümde birden fazla kişi konuştuğu için ifadeler tek tek konuşmacılara atfedilmiyor, programın genel argümanları olarak sunuluyor. Zaman damgaları ilgili tartışma bölümlerini gösteriyor.