Strata: 125 milyar parametrelik model, tek oyun ekran kartında

Hangi model?

Strata tek bir model için yazılmış: Qwen ekibinin Qwen3.8-Flash-Next’i. Model kartına göre bu, Qwen4’ün mimarisinin deneysel bir ön izlemesi. Toplam 125 milyar parametresi var, ama her token’da sadece yaklaşık 6 milyarı çalışıyor. Sebebi uzmanlar karışımı (MoE) yapısı: 48 katmanın her birinde 512 uzman var, her token için bunlardan 10’u seçiliyor. Toplam 24.576 uzman ediyor.

Modelin bir de alışılmadık bir parçası var: n-gram embedding. Bu, iki ya da üç kelimelik kalıplar için tutulan dev bir arama tablosu. Hesap yapmıyor, sadece içinden birkaç satır okunuyor. Fikir, ESP32’de dil modeli çalıştıran projede gördüğümüz katman başına arama tablosuna çok benziyor.

Strata işi nasıl bölüyor?

Videoya göre modelin kullanılabilir en küçük sürümü bile 66 GB civarında. RTX 5090’ın belleği ise 32 GB. Strata bu yüzden modeli bilgisayarın her parçasına dağıtıyor:

• Ekran kartı (VRAM): Her token’ın ihtiyaç duyduğu ortak kısımlar burada. Kalan yer, en sık seçilen uzmanlarla dolduruluyor. Bu önbellek sohbet ilerledikçe kendini güncelliyor.
• RAM: Bütün uzmanlar burada duruyor. Ekran kartında olmayan bir uzman gerekince işlemci onu doğrudan RAM’de hesaplıyor.
• SSD: 28,8 GB’lık n-gram tablosu burada. Her token için sadece birkaç küçük satır okunuyor.

MoE yazısında anlattığımız FreeToken, uzman ekran kartında yoksa “taşıyayım mı, işlemcide mi hesaplayayım?” diye karar veriyordu. Strata ise işlemciyle ekran kartını aynı katmanda, aynı anda çalıştırıyor. Videoya göre Strata’nın makalesi buna “kapı zili” diyor: Ekran kartı o katmanda gereken uzmanların listesini ortak belleğe bırakıyor, işlemci bunu görür görmez kendi payına düşen uzmanları hesaplamaya başlıyor. İkisi de birbirini beklemiyor.

Strata ayrıca VRAM’in hızdan daha önemli olduğunu söylüyor. Her ek gigabayta yaklaşık 700 uzman daha sığıyor. Ekran kartına sığan her uzman, işlemcinin yapmak zorunda olmadığı bir iş demek.

Tahmin et, sonra kontrol et

Hızın bir kısmı spekülatif kod çözmeden geliyor. Modelin içinde küçük bir yardımcı katman (MTP) var. Bu katman sonraki birkaç token’ı tahmin ediyor, büyük model de hepsini tek seferde kontrol edip doğru olanları tutuyor. Son kararı hep büyük model verdiği için cevap aynı kalıyor. README’ye göre bu, cevabı 1,6–1,8 kat hızlandırıyor.

Buluttan 5 kat hızlı mı?

Videoda Strata, RTX 5090 ve 62 GB RAM’li bir bilgisayarda saniyede 250 token’ı geçti. Karşısında, OpenRouter üzerinden çağrılan Qwen3.8-Flash saniyede 60 civarında kaldı. Bu, Qwen’in aynı modele dayanan resmî bulut sürümü. Bir kodlama görevi yerelde 4, bulutta yaklaşık 19 saniye sürdü.

Bu karşılaştırmayı okurken şunları aklında tut:

• Yerelde 2-bit sıkıştırılmış, en küçük sürüm çalışıyor. Bulutta büyük ihtimalle daha az sıkıştırılmış bir sürüm var. Videoya göre cevapların kalitesi yine de birbirine yakındı.
• Bulut sağlayıcısı donanımını çok kişiyle paylaşıyor. Senin ekran kartın sadece sana hizmet ediyor.
• Videodaki istemler kısa. Sohbet uzadıkça Strata da yavaşlıyor.

Daha gerçekçi bir referans README’deki tablo: 12 GB’lık RTX 5070’te saniyede 94 token, 16 GB’lık AMD RX 9070 XT’de 60 token.

Neye ihtiyacın var?

En az 12 GB VRAM’li bir NVIDIA ya da AMD ekran kartı, en az 32 GB RAM, 80 GB kadar boş disk ve Windows ya da Linux. Kurulum betiği model boyutunu soruyor, yaklaşık 70 GB indiriyor ve tarayıcıda bir sohbet ekranı açıyor. Strata OpenAI ve Anthropic uyumlu yerel bir API de sunuyor, yani kod ajanlarını ona bağlayabiliyorsun.

Bilmen gereken birkaç şey var. Model ilk yüklenirken bilgisayar birkaç dakika donabiliyor. Çalışırken de ekran kartının neredeyse tamamını kaplıyor. Strata’nın kendisi MIT lisanslı ve llama.cpp’nin parçalarını kullanıyor. Modelin ise kendi lisansı var.

Magnitude gibi motorlar her modeli çalıştırmaya, kendini donanıma göre ayarlamaya çalışıyor. Strata ise tersini yapıyor: Tek bir modeli, o modelin yapısını bilerek, sonuna kadar optimize ediyor.

Düşün

• Bir motorun tek bir modele bağlı olması seni rahatsız eder mi, yoksa hız için buna değer mi?
• Yerel ve bulut hızını karşılaştırırken eşit koşulları nasıl sağlardın?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.