gpu-unlock: GeForce kartlarda yarım hızda çalışan yapay zekâ hesabını açmak

Tensor çekirdeği ve ara toplam

Bir dil modelinin işinin büyük kısmı matris çarpımı. NVIDIA kartlarda bu işi tensor çekirdekleri (tensor core) yapıyor. Bunlar sayıları çarpıp sonuçları bir ara toplamda biriktiren özel devreler.

Çarpılan sayılar genelde FP16 ya da BF16 gibi 16 bitlik sayılar. Ama binlerce çarpımı toplarken küçük yuvarlama hataları birikiyor. O yüzden ara toplam çoğu zaman daha hassas olan 32 bitlik FP32 ile tutuluyor. Buna “FP32 accumulate” deniyor. Proje sahibine göre model eğitimi ve sıkıştırılmamış modellerle çıkarımın neredeyse tamamı bu ayarı kullanıyor.

GeForce’ta yarım hız

NVIDIA’nın kendi mimari belgeleri farkı açıkça gösteriyor. RTX 3090’ın tensor çekirdekleri FP16 sayılarla, ara toplam da FP16 olduğunda saniyede 142 trilyon işlem (TFLOPS) yapabiliyor. Ara toplam FP32 olunca bu 71’e düşüyor. Aynı GA102 çipini kullanan profesyonel RTX A6000’de ise iki değer de 154,8. RTX 4090’da tablo aynı: 330’a karşı 165.

Yani bu kısıt donanımın sınırı değil, bir tercih. Proje sahibine göre sebebi pazar ayrımı: Şirketler sınırı olmayan profesyonel kartlara çok daha fazla para ödesin diye.

gpu-unlock ne yapıyor?

gpu-unlock, Zagitta adlı geliştiricinin Ekim 2026’da yayımladığı açık kaynak bir Linux çekirdek modülü. Bilgisayar açılırken, NVIDIA sürücüsü karta bağlanmadan önce çalışıyor. Kartın hız seçici ayarlarını yazıp kartı sıfırlıyor, sonra kontrolü değiştirilmemiş NVIDIA sürücüsüne bırakıyor. Sürücü yamalanmıyor, kartın kendi yazılımı (VBIOS) yeniden yazılmıyor.

Modül kendiliğinden devreye girmiyor. Çekirdek açılış parametrelerine gpu_unlock.targets=all eklemen gerekiyor. Parametreyi silince her şey eski hâline dönüyor. Kurulumda NVIDIA sürücüsü sadece gereken firmware’i çıkarmak için indiriliyor. Modülün kodu GPL-2.0, NVIDIA firmware’i ise NVIDIA’nın kendi koşullarına tabi.

RTX 30 serisi desteği kararlı, 100’den fazla kullanıcı raporu var. RTX 40 ve RTX 20 deneysel. RTX 50 serisi desteklenmiyor ve proje sahibi gelmesini de beklemiyor.

Yerel modelde ne kazandırır?

Projedeki sayılar kullanıcıların gönderdiği uyumluluk raporlarından geliyor, bağımsız bir test yok. Saf matris çarpımında RTX 3090 75’ten 125 TFLOPS’a çıkıyor. RTX 4090’da tepe hız iki katına çıkıyor, ama kart güç sınırına takıldığı için büyük işlerde kazanç daha az.

Asıl önemli kısım şu: Bir dil modeli iki aşamada çalışır. Önce istemini (prompt) tek seferde işler, buna prefill deniyor. Bu aşama hesap ağırlıklı. Sonra cevabı token token üretir. Bu aşamada darboğaz hesap değil, ağırlıkları bellekten taşımak. Bunu saniyede 1000 token yazısında anlattık.

Projeye göre prefill yüzde 25-55 hızlanıyor, ilk token’ın gelme süresi yüzde 25-30 kısalıyor. Token üretim hızı ise değişmiyor. llama.cpp ya da Ollama ile sıkıştırılmış GGUF modellerde kazanç yüzde 0-15, o da çoğunlukla uzun bağlamda. INT8, FP8 ve INT4 modeller, oyunlar ve FP32 CUDA hesapları etkilenmiyor. Görüntü üretiminde yüzde 30-55, BF16 ile ince ayarda (fine-tuning) yüzde 25-50 hızlanma bildiriliyor. “2 kat hız” gibi iddiaları neyin ölçüldüğüne bakarak okumayı Magnitude yazısında konuşmuştuk.

Riskler

• Bu, NVIDIA’nın desteklediği bir yöntem değil. Garanti ve sürücü lisansı açısından ne anlama geldiğini proje açıklamıyor.
• Kart daha çok hesap yaptığı için biraz daha ısınabilir. Proje sahibine göre normal güç yönetimi ve ısı koruması çalışmaya devam ediyor.
• Açılışta kart sıfırlandığı için ekran kısa süre kararıyor. Dizüstülerde ekran kartı tamamen kapanırsa ayar sessizce sıfırlanıyor.
• Windows için resmi sürüm yok. Proje sahibi internette dolaşan Windows yükleyicilerine karşı çok dikkatli olmanı söylüyor. Tek resmi kaynak GitHub deposu.

Düşün

• Aynı çipin pahalı sürümünde açık olan bir özelliği ucuz sürümde kısmak sence adil bir pazar ayrımı mı?
• Senin kullanımında yerel modeli yavaşlatan şey istemin işlenmesi mi, cevabın üretilmesi mi?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.