DeepInfer: DeepSeek kendi çıkarım motorunu açtı, prefill ve decode farkını anlamak için iyi bir fırsat

Ne çıktı?

DeepSeek, Ekim ortasında DeepInfer adlı çıkarım (inference) motorunu GitHub’da açtı. Depo 16 Ekim’de oluşturuldu, duyuru 20 Ekim civarında geldi, lisans Apache 2.0. README’ye göre bu, şirketin kendi üretim hizmetlerini çalıştıran motorun açık sürümü. Başlangıçta büyük ölçüde vLLM üzerine kurulmuş, SGLang ve TensorRT-LLM’den de fikir almış.

Sınırları baştan bilmek önemli. Şimdilik sadece DeepSeek-V4.1-Flash destekleniyor. Donanım olarak NVIDIA’nın SM100 nesli (Blackwell) ve Huawei Ascend 950 var. Açılan kısım çevrim dışı çıkarım: Tam bir hizmet için gereken KV cache sistemi, prefill ile decode’u ayrı makinelere bölme ve yük dengeleme bu sürümde yok. Yani yarın kendi sunucunda DeepSeek’in API’sini kopyalayamazsın. Ama tasarım kararları çok şey öğretiyor.

Prefill ve decode: İki ayrı iş

Bir dil modeli cevap verirken iki aşamadan geçiyor. Prefill’de modelin tüm prompt’u okuması gerekiyor. Bütün tokenlar aynı anda işlenebildiği için GPU’nun hesap gücü tam kullanılıyor. Decode’da ise model cevabı token token yazıyor. Her yeni token için modelin ağırlıklarını ve o ana kadarki hafızayı (KV cache) bellekten yeniden okumak gerekiyor. Burada darboğaz hesap değil, bellek bant genişliği. Bu konuyu saniyede 1000 token yazısında da anlatmıştık.

Bu yüzden büyük sağlayıcılar iki aşamayı farklı GPU gruplarına veriyor. DeepInfer’ın ölçümleri de böyle: prefill 4 GPU’da, decode 64 GPU’da yapılmış.

Hız mı, verim mi?

Decode’da bir GPU’ya ne kadar çok isteği aynı anda verirsen, ağırlıkları bir kez okuyup o kadar çok kullanıcıya token üretirsin. GPU’nun toplam üretimi (throughput) artar ama her kullanıcının gördüğü hız düşer. README’deki grafikleri aktaran yazılara göre GPU başına 8 istekte kullanıcı başına saniyede yaklaşık 325 token, GPU başına toplam 2.600 token çıkıyor. 256 istekte kullanıcı başına hız 103 tokena iniyor, GPU başına toplam ise 26.000’e çıkıyor. Yani “kullanıcı başına 325 token” ile “GPU başına 26 bin token” aynı anda geçerli değil, ikisinden birini seçiyorsun. Bu rakamlar ayrıca taslak tokenlarla yapılan spekülatif decoding’in yüksek bir kabul oranıyla çalıştığını varsayıyor ve henüz bağımsız olarak tekrarlanmadı.

Asıl kazanç: Önbellek

Latent Space’in özetlediği, DeepSeek’in paylaştığı üretim rakamlarına göre tek bir küme günde 155 trilyon token sunuyor ve girdi tokenlarının %96’sı önbellekten geliyor. Ajanlar ve uzun sohbetler aynı başlangıcı (sistem prompt’u, kod tabanı, önceki mesajlar) tekrar tekrar gönderdiği için bu mantıklı. Önbellekte olan kısmın KV cache’i yeniden hesaplanmıyor, SSD’den okunuyor. DeepSeek önbelleği ajan trafiği için üç, sohbet için yedi gün tutuyor.

Önbellekteki tokenlar ucuza satılsa da neredeyse bedavaya üretiliyor. Paylaşılan rakam, yoğun olmayan saatlerin fiyatlarıyla GPU başına saatte yaklaşık 38 dolar gelir. Latent Space’in kendi hesabıyla bundan yüksek kâr marjları çıkarılıyor. Ama bunlar bağımsız denetlenmemiş rakamlar ve gelir kâr değil. SSD filosu, ağ, boşta kalan kapasite ve eğitim maliyeti bu hesaba girmiyor.

DeepSeek bunu ilk kez yapmıyor. Şubat 2025’teki açık kaynak haftasında da V3/R1 hizmetinin rakamlarını paylaşmıştı. O zaman girdilerin %56’sı önbellekten geliyordu. Aradaki fark büyük ölçüde aynı bağlamı tekrar tekrar gönderen ajan trafiğinden geliyor olabilir. V4.1-Flash’ın KV cache’i nasıl küçülttüğünü de V4.1-Flash yazısında anlattık.

Düşün

• Kendi uygulamanda modele gönderdiğin prompt’ların ne kadarı her istekte aynı? Bu kısmı başa koyarsan önbellekten ne kadar kazanırsın?
• Bir sohbet ürünü için kullanıcı başına hız mı daha önemli, GPU başına toplam üretim mi? Arka planda çalışan bir ajan için cevap değişir mi?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.