Muon: AdamW'nin tahtını sallayan optimizer, aynı modeli yaklaşık yarı hesapla eğitiyor

Optimizer ne yapar?

Bir dil modelini eğitmek, milyarlarca ağırlığı adım adım düzeltmek demek. Geri yayılım her adımda her ağırlık için bir gradyan hesaplıyor: “Hatayı azaltmak için bu sayıyı hangi yöne oynatmalıyım?” Optimizer bu bilgiyi alıp asıl adımı atan parça. Adımın yönüne, büyüklüğüne ve geçmiş adımların ne kadar hesaba katılacağına o karar veriyor.

Varsayılan seçim AdamW. Her ağırlık için gradyanın geçmiş ortalamasını ve büyüklüğünü ayrı ayrı takip edip adımı buna göre ölçekliyor. Videoya göre yaklaşık on yıldır neredeyse rakipsiz. Ama her sayıya tek tek bakıyor, ağırlıkların matrisler hâlinde birlikte çalıştığını görmüyor.

Muon’un fikri

Muon, Keller Jordan’ın Aralık 2024’te tanıttığı bir optimizer. Adı “MomentUm Orthogonalized by Newton-Schulz”un kısaltması:

1. Önce klasik momentum hesaplanıyor: Son gradyanlar biriktirilip daha kararlı bir yön bulunuyor.
2. Bu güncelleme bir matris. Muon onu ortogonalleştiriyor: Yönleri koruyup her yöndeki büyüklüğü eşitliyor.
3. Bunu pahalı bir SVD ile değil, birkaç matris çarpımından oluşan Newton–Schulz yinelemesiyle yapıyor. Genelde 5 tur yetiyor ve ekran kartlarının hızlı olduğu bf16 hassasiyetinde çalışıyor.

Neden işe yarıyor? Jordan, transformer’larda hem momentum’un hem Adam’ın güncellemelerinde birkaç baskın yönün hâkim olduğunu gözlemlemiş. Ortogonalleştirme, küçük kalan ama öğrenme için önemli olabilecek “nadir yönleri” de büyütüyor. Jordan bunu kanıt değil, tahmin olarak sunuyor. Ek hesap maliyeti ise tipik dil modeli eğitiminde %1’in altında.

Dust gibi yöntemler gradyanın nasıl bulunduğunu değiştirmeye çalışıyor. Muon ise gradyanı aynen alıyor, sadece adımı farklı atıyor.

Büyük ölçekte de çalışıyor mu?

Muon’un ilk ünü CIFAR-10 ve NanoGPT hız rekorlarından geldi. Moonshot AI (Kimi’nin şirketi) Şubat 2025’teki “Muon is Scalable for LLM Training” makalesinde büyük ölçeği denedi. İki ayar gerekti: Weight decay eklemek (yoksa bazı ağırlıklar zamanla aşırı büyüyordu) ve güncellemenin boyutunu AdamW’ninkine denk ölçeklemek. Böylece AdamW için bulunmuş öğrenme oranları yeniden kullanılabiliyor.

Makaleye göre compute-optimal eğitimde Muon, AdamW’nin sonucuna eğitim hesabının yaklaşık %52’siyle ulaşıyor, yani kabaca 2 kat verim. Ekip bununla 5,7 trilyon token’da Moonlight adlı bir MoE modeli eğitip (16 milyar toplam, 3 milyar aktif parametre) MIT lisansıyla yayımladı. 1 trilyon parametreli Kimi K2’yi ise kararsızlığı önleyen QK-clip eklentili MuonClip ile eğittiler. DeepSeek’in V4 ailesinin teknik raporu da Muon’u daha hızlı yakınsama ve kararlılık için kullandığını yazıyor.

Sınırları

• Muon sadece gizli katmanlardaki 2 boyutlu ağırlık matrisleri için. Embedding, çıkış katmanı (LM head), normalizasyon ve bias gibi parametreler hâlâ AdamW ile eğitiliyor. Pratikte iki optimizer yan yana çalışıyor.
• AdamW ile ön eğitilmiş bir modeli Muon ile ince ayarlamak belirgin avantaj getirmiyor. En iyi sonuç ikisi de Muon olduğunda çıkıyor. Moonshot bu uyumsuzluğu açık problem olarak bırakıyor.
• “2 kat” rakamı Moonshot’ın kendi deneylerinden. Her mimaride aynı kazancın çıkacağının garantisi yok.

Unutulmuş mimarilere ikinci şans

Videonun ilginç iddiası şu: Optimizer değişince, AdamW ile iyi eğitilemediği için kenara atılmış mimariler yeniden şans bulabilir. Mayıs 2026’daki Parallax makalesinde yazarlar, yeni bir lineer attention türünün kapasitesini Muon’un “açtığını” yazıyor. Haziran 2026’daki başka bir çalışma da Muon’un öğrendiği özelliklerin bozuk girdilere daha dayanıklı ve başka görevlere daha iyi aktarılabilir olduğunu savunuyor. Bunlar henüz tek tek makaleler. Ama bir fikrin başarısızlığının bazen eğitim ayarlarından kaynaklanabileceğini hatırlatıyorlar.

Düşün

• Bir yöntemin “işe yaramadığına” karar verirken eğitim ayarlarının payını ne kadar hesaba katıyoruz?
• Eğitim maliyeti yarıya inerse en çok kim kazanır: dev laboratuvarlar mı, küçük ekipler mi?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.