Saniyede 1000 token: DiffusionGemma ve MiMo UltraSpeed hızı nereden buluyor?

Model neden bekler?

Bugünkü dil modellerinin neredeyse hepsi otoregresif: Metni soldan sağa, her seferinde bir token üretiyor. Her token için modelin ağırlıklarının büyük kısmı ekran kartının belleğinden işlemciye taşınıyor. Hesabın kendisi küçük, taşıma ise pahalı. Buna bellek sınırlı (memory-bound) çalışmak deniyor.

Bulut şirketleri bunu yüzlerce kullanıcıyı aynı anda işleyerek çözüyor: Ağırlıklar bir kez taşınıyor, herkesin bir sonraki token’ı birlikte hesaplanıyor. Ama kendi bilgisayarında tek kullanıcı sensin. Ekran kartı ağırlıkları taşıyor, tek bir token hesaplıyor, sonra boş bekliyor.

Aynı hafta çıkan iki model bu beklemeyi iki farklı yoldan kısalttı.

Yol 1: Metni gürültüden arıtmak

Google DeepMind’ın 10 Haziran’da yayınladığı DiffusionGemma şunu soruyor: Bulut 256 kişiye birer token üretiyorsa, ben tek kişiye 256 token üretemez miyim?

Model işe 256 rastgele token’lık bir “tuval” ile başlıyor. Yani anlamsız bir dizi. Sonra bu tuvalin üzerinden birkaç kez geçiyor. Her geçişte emin olduğu token’ları yerine oturtuyor, onları ipucu olarak kullanıp kalanları düzeltiyor. Geçiş sayısı 256’dan çok daha az olduğu için hız buradan geliyor. Ekran kartı da boş beklemek yerine gerçekten hesap yapıyor.

Bu fikir yeni değil: Difüzyon, resim üreten modellerin yöntemi. Gürültüyle başla, adım adım temizle. Metinde “gürültü” ne demek peki? Videoya göre DeepMind burada uniform state diffusion kullanıyor: Eğitimde gerçek kelimelerin bir kısmı rastgele kelimelerle değiştiriliyor, model de hangilerinin yanlış olduğunu bulmayı öğreniyor. Kelimeleri sadece boş bırakan daha basit yöntemden farkı şu: Model, birkaç adım önce kabul ettiği bir kelimeyi sonradan beğenmezse değiştirebiliyor. Ayrıca her token sadece geriye değil, tuvaldeki tüm token’lara bakabiliyor (çift yönlü dikkat).

Google’ın rakamları: Tek bir NVIDIA H100’de saniyede 1000’in üzerinde, RTX 5090’da 700’ün üzerinde token. Model, Gemma 4’ün 26 milyar parametreli MoE yapısı üzerine kurulu, her adımda 3,8 milyar parametre çalışıyor. Ağırlıklar Apache 2.0 lisansıyla açık.

Bedeli de açıkça yazılmış: Kalite, normal Gemma 4’ten düşük. Videoya göre model özellikle kodun ortasını doldurmak gibi soldan sağa gitmeyen işlerde güçlü. Videodaki H100 testinde ise ölçülen hız 1000 değil, 700 civarında kaldı.

Yol 2: Aynı modeli her yerden sıkıştırmak

Xiaomi’nin 8 Haziran’da duyurduğu MiMo-V2.5-Pro-UltraSpeed ise yapıyı değiştirmiyor. 1 trilyon parametreli bir MoE modelini, sekiz standart GPU’lu tek bir sunucuda saniyede 1000–1200 token’a çıkarmak için üç şeyi birlikte yapıyor:

• Sadece uzmanları sıkıştırmak. MoE modelinin uzman katmanları 4 bitlik MXFP4 biçimine indiriliyor, gerisi orijinal hassasiyette kalıyor. Model, bu sıkıştırmayı bilerek eğitiliyor (quantization-aware training).
• Blok blok tahmin. Spekülatif kod çözmenin bir türü (ayrıntısı sonradan yazdığımız Muse Glimmer yazısında). Xiaomi’nin DFlash dediği yöntem 8 token’lık bir bloğu tek seferde tahmin ediyor. Kodlama işlerinde bunların ortalama 6,3’ü kabul ediliyor.
• Hiç durmayan GPU motoru. TileRT adlı sistem, GPU’nun her işlem arasında verdiği mikro saniyelik molaları ortadan kaldırıyor. Veriyi taşıyan, hesaplayan ve haberleşen parçalar aynı anda çalışıyor.

Xiaomi’ye göre fiyat normal modelin üç katı, hız on katı. Videodaki testlerde hız zaman zaman saniyede 3000 token’ı geçti. Ama uzun bir görevde model iki kez donup kaldı, bazı çıktılar da yarım kaldı. Xiaomi’nin sonraki modelini MiMo-V2.6 yazımızda anlattık.

Hız ne zaman önemli?

Saniyede 50 token, bir sohbet için yeterli. Ama ajan, kendi kendine düzinelerce adım atıyorsa her adımın beklemesi toplanıyor. Kod tamamlamada da cevap anında gelmezse işe yaramıyor. Bu yüzden hız, artık kalite kadar önemli bir özellik.

İki örneğin ortak dersi şu: Hız bedava değil. DiffusionGemma kaliteden, UltraSpeed paradan ödüyor.

Düşün

• Kullandığın bir yapay zekâ aracında seni asıl bekleten şey modelin zekâsı mı, hızı mı?
• Yarı kalitede ama on kat hızlı bir model, hangi işlerin için yeterli olurdu?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.