Bu neden önemli?
E-postana, takvimine ve dosyalarına erişen bir yapay zekâ ajanını kendi bilgisayarında çalıştırmak, verini başka bir şirketin sunucusuna göndermemek demek. Büyük modelleri küçültme teknikleri de bunun anahtarı.
Ne oldu?
Meta bir süredir yeni modellerini kapalı tutuyordu. Llama serisinden sonra çıkan Muse Spark sadece Meta’nın kendi servisleri üzerinden kullanılabiliyordu. 10 Ağustos’ta şirket bu çizgiden saptı ve Muse Glimmer’ı yayınladı.
- 30 milyar parametre, ağırlıkları Hugging Face’te herkese açık.
- Apache 2.0 lisanslı. Yani ticari kullanım, değiştirme ve yeniden dağıtım serbest. Llama’nın kendine özgü, kısıtlamalı lisansına göre bu önemli bir fark.
- Metin ve görsel girdi alıyor, metin üretiyor. Bağlam penceresi 128 bin token’ın üzerinde.
- Ajan işleri için eğitilmiş: araç kullanmak, çok adımlı görevleri yürütmek, hata olunca toparlanmak.
Meta’nın yazısında ajanların iyi çalışması için kişisel bağlama “derin erişim” gerektiği söyleniyor. Videonun başlığı buna takılıyor. Ama işin öbür tarafı şu: Model yerelde çalıştığında bu erişim senin bilgisayarında kalıyor.
Yoğun model: Her parametre her seferinde çalışıyor
Son dönemin büyük açık modellerinin çoğu uzmanlar karışımı (MoE) kullanıyor: İçlerinde çok sayıda parametre var ama her adımda sadece bir kısmı çalışıyor. Muse Glimmer ise dense, yani yoğun bir model. 30 milyar parametrenin hepsi her kelimede devreye giriyor. Bu, daha basit ve tahmin edilebilir bir yapı. Ama belleğe sığdırmak için ekstra çaba gerekiyor.
Küçültmenin üç yolu
1. Damıtma (distillation). Meta’ya göre Glimmer, daha büyük ve kapalı olan Muse Spark’tan damıtılarak eğitildi. Büyük “öğretmen” model cevaplarını ve olasılıklarını gösteriyor, küçük “öğrenci” model onu taklit etmeyi öğreniyor.
2. Kuantizasyon (quantization). Model ağırlıkları normalde 16 bitlik sayılarla saklanıyor. Bu hâliyle Glimmer yaklaşık 64 GB bellek istiyor. Ağırlıklar yaklaşık 4 bite sıkıştırılınca model 20 GB’ın altına iniyor ve 24–32 GB’lık bir ekran kartına sığıyor. Meta’ya göre kalite kaybı çok küçük.
3. Spekülatif kod çözme (speculative decoding). Dil modelleri normalde metni kelime kelime üretir. Her kelime için büyük modelin baştan sona çalışması gerekir. Spekülatif kod çözmede küçük ve hızlı bir “taslak” model önce birkaç kelimeyi tahmin ediyor. Büyük model bu tahminleri tek seferde kontrol ediyor, doğru olanları kabul edip yanlıştan itibaren kendi devam ediyor. Sonuç, büyük modelin tek başına üreteceği metinle aynı. Sadece daha hızlı.
Glimmer’ın yanında gelen DFlash adlı taslak model, tek adımda 16 token’lık blok öneriyor. Meta’ya göre bu, RTX 5090’da yaklaşık 3 kat, Apple’ın M serisi çiplerde 1,5–1,8 kat hız kazandırıyor.
Ne kadar iyi?
Meta’nın rakamlarına göre Glimmer, benzer boyuttaki Gemma 4 ve Qwen 3.6 modelleriyle yarışıyor. Videoda ilginç bir ayrıntıya da dikkat çekiliyor: Videoya göre bir prompt injection (istem enjeksiyonu) testinde saldırılar Glimmer’da yaklaşık %28, Qwen’de yaklaşık %40 oranında başarılı oluyor. Bu rakamı Meta’nın duyuru yazısında doğrulayamadık. Yani daha iyi, ama kişisel verine erişen bir ajan için hâlâ düşündürücü bir oran.
Model vLLM, llama.cpp ve Ollama gibi yaygın araçlarla çalıştırılabiliyor.
Düşün
- E-postalarını okuyabilen bir ajanı kendi bilgisayarında mı, yoksa bir bulut servisinde mi çalıştırmayı tercih ederdin? Neden?
- Dört saldırıdan biri başarılı oluyorsa, bir ajana hangi yetkileri verirdin, hangilerini vermezdin?
Bu yazıdaki araçlar Araç Kutusu'nda: Muse Glimmer