NVFP4: Dev modelleri 4 bitle eğitmek neden bu kadar zor?

4 bitle ne kadar sayı yazılır?

Bir modelin ağırlıkları, yani öğrendiği şeyler, milyarlarca sayıdan oluşur. Eğitim genelde bu sayıları 16 bitle (BF16) tutarak yapılıyor, son yıllarda 8 bit (FP8) de yaygınlaştı. Bitleri azaltmaya quantization (niceleme) deniyor; kavramı yapay zekâ kavramları yazımızda anlatmıştık.

4 bit ise gerçekten dar bir alan. NVFP4’ün kullandığı E2M1 formatında bir bit işaret, iki bit üs, bir bit de ondalık kısım için. Sonuç: Pozitif tarafta sadece 0, 0,5, 1, 1,5, 2, 3, 4 ve 6 yazabiliyorsun. 2,4 diye bir sayı yok. 100 diye bir sayı hiç yok.

Hile: Her 16 sayıya bir çarpan

Bu kadar az değerle iş görmenin yolu blok ölçekleme. NVFP4, sayıları 16’lık bloklara ayırıyor. Her bloğun kendi çarpanı (scale) var ve bu çarpan 8 bitlik bir sayı. Bloktaki 4 bitlik değerler bu çarpanla büyütülüp küçültülüyor. Üstüne bir de bütün tablo için ayrı bir genel çarpan geliyor.

Yani tek tek sayılar kaba, ama her küçük grup kendi ölçeğine oturtuluyor. Çarpanların payıyla birlikte değer başına yaklaşık 4,5 bit düşüyor. NVIDIA’ya göre bu, FP8’e göre yaklaşık 1,8 kat daha az bellek demek.

Rakip açık standart MXFP4’te bloklar 32 değerlik ve çarpan sadece 2’nin kuvveti olabiliyor. NVFP4’ün daha küçük blokları ve daha esnek çarpanı, büyük ve küçük sayıların yan yana durduğu yerlerde daha az hata yapıyor.

Çalıştırmak kolay, eğitmek zor

Eğitilmiş bir modeli sonradan 4 bite sıkıştırıp çalıştırmak bir süredir mümkün. NVIDIA’nın DeepSeek-R1 üzerindeki testinde, FP8’e göre kayıp çoğu testte bir puan civarında kaldı. Küçük modellerde kayıp büyüyünce de QAD (quantization-aware distillation) kullanılıyor: Tam hassasiyetli model öğretmen, 4 bitlik kopyası öğrenci oluyor ve öğrenci öğretmenin cevaplarını taklit ederek kaybı geri kazanıyor.

Eğitim ise başka bir hikâye. Burada sadece ağırlıklar değil, geri yayılımdaki gradyanlar da 4 bite sığmak zorunda. Gradyanlar çoğu zaman çok küçük sayılar ve arada bir dev bir değer (outlier) bütün bloğun ölçeğini bozuyor. Küçük hatalar trilyonlarca token boyunca birikince eğitim raydan çıkabiliyor.

Eğitimi ayakta tutan dört teknik

NVIDIA’nın makalesi, 12 milyar parametrelik bir modeli 10 trilyon token boyunca NVFP4 ile eğitti ve FP8 ile eğitilen kopyasına yakın sonuç aldı. Tarif şöyle:

• Hadamard dönüşümü: Sayıları belli bir matematiksel karıştırmadan geçirip tek bir aşırı değeri bloğun geneline yayıyor. Böylece tek bir sayı yüzünden bütün bloğun ölçeği şişmiyor.
• 2 boyutlu ölçekleme: Ağırlıklar ileri geçişte satır satır, geri geçişte sütun sütun kullanılıyor. Ölçek 16x16’lık karelere verilince iki yönde de aynı sıkıştırılmış ağırlık görülüyor.
• Rastgele yuvarlama: 2,4 gibi bir değer, %60 ihtimalle 2’ye, %40 ihtimalle 3’e yuvarlanıyor. Tek tek hatalı ama ortalamada doğru. Hep en yakına yuvarlamak, küçük güncellemeleri sistematik olarak siliyor.
• Hassas bırakılan katmanlar: Ağın başındaki ve özellikle sonundaki birkaç katman 16 bitte kalıyor. Makalede bu, doğrusal katmanların yaklaşık %16’sı.

Sonuç makul: MMLU-Pro’da 4 bitlik model 62,58, FP8 kopyası 62,62 puan aldı. En belirgin fark kodlama testlerinde (56,7’ye 59,5).

Artık deney değil

Aralık 2025’teki Nemotron 3 raporuna göre, bu tarifle eğitilen modeller ile 16 bitle eğitilenler arasındaki kayıp farkı %1’in altında. Model büyüdükçe fark daha da küçülüyor. Aynı raporda bir ayrıntı daha var: Bazı katmanlarda değerlerin %40’a varan kısmı 4 bitte sıfıra düşüyordu, o katmanlar 8 bitte bırakıldı. Yani tarif modelden modele ayar istiyor, videonun başlığındaki “kâbus” da biraz bundan.

Haziran 2026’da yayımlanan Nemotron 3 Ultra ise 550 milyar parametrelik modeli 20 trilyon token boyunca NVFP4 ile eğitti. NVIDIA bunu şimdiye kadarki en büyük kararlı 4 bit eğitimi olarak tanımlıyor. Donanım tarafında da teşvik açık: GB300 çipinde FP4 işlem gücü, FP8’in üç katı.

Format eğitimin dışına da taşınıyor. DeepSeek, modelin konuşma hafızasını (KV cache) NVFP4’e çok benzeyen bir formatta tutarak küçülttü; ayrıntıları DeepSeek-V4.1-Flash yazısında anlattık.

Düşün

• Bir modelin “4 bit” olması sana ne söyler, ne söylemez? Hangi kısımlarının hâlâ 16 bit olduğunu sormak neden önemli?
• Rastgele yuvarlama, tek tek yanlış ama toplamda doğru sonuç veriyor. Günlük hayatta buna benzeyen bir örnek düşünebilir misin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.