Magnitude: Kendini senin makinene göre ayarlayan yerel model motoru

Motor ne işe yarar?

Bir dil modeli aslında devasa bir sayı dosyası. Onu çalıştıran programa çıkarım motoru (inference engine) deniyor. llama.cpp, Ollama ve Apple’ın MLX’i bunun örnekleri. Motorun asıl işini kernel’ler yapıyor: Ekran kartında ya da işlemcide çalışan, matris çarpımı gibi ağır hesapları yapan küçük programlar. Bu kavramı Mojo yazısında da görmüştük.

llama.cpp gibi motorlar milyonlarca farklı bilgisayarda çalışmak zorunda. Bu yüzden kernel’leri önceden, geniş bir donanım ailesine uyacak şekilde derlenmiş geliyor. Her yerde çalışıyorlar, ama senin çipin için en hızlı hâlleri olmayabilirler.

Magnitude farklı ne yapıyor?

Magnitude, Apache 2.0 lisanslı, açık kaynak bir motor. Kernel’lerini senin cihazında derliyor ve ayarlıyor. Bir kernel’in ayarlanabilir düğmeleri var: işi kaç parçaya böleceği, belleği nasıl okuyacağı gibi. Model indirdiğinde Magnitude bu ayarların farklı kombinasyonlarını senin makinende çalıştırıp süre ölçüyor, en hızlısını saklıyor. Videoya göre bu yaklaşık bir dakika sürüyor.

Proje kendini “ajanlar için motor” olarak tanımlıyor. Masaüstü uygulaması OpenAI ve Anthropic uyumlu yerel bir API açıyor. Claude Code, Codex, OpenCode, Cline gibi ajanlara tek tıkla bağlanıyor. Bu, Ollama ile Claude Code’u çalıştırmak için yaptığın ayarın tek tuşa inmiş hâli. Bilmen gereken bir ayrıntı: Claude Code bağlantısı ~/.claude/settings.json dosyana yazıyor, yerel olmayan modeller de bu sırada Magnitude’un üzerinden geçiyor. Normale dönmek için bağlantıyı kesip Claude Code’u yeniden başlatman gerekiyor.

Destek geniş: Apple Silicon’da Metal, Intel Mac’te sadece işlemci, Windows ve Linux’ta işlemci, NVIDIA (CUDA) ya da Vulkan. Mac için macOS 13 ve sonrası gerekiyor.

Prefill ve decode: İki ayrı hız

Hızdan bahsederken iki sayı var. Prefill, modelin senin yazdığın metni okuma hızı. Bütün metin aynı anda işlenebildiği için genelde hesap gücüne bağlı. Decode, cevabı token token üretme hızı. Her yeni token için modelin ağırlıkları bellekten tekrar okunuyor, bu yüzden bellek erişimi belirleyici. Bir kod ajanının yazmasını izlerken hissettiğin hız çoğunlukla decode.

“2 kat” iddiası neye dayanıyor?

Magnitude’un kendi testi: Qwen 3.6 35B A3B (MoE yapısında bir model), 4-bit, 64 bin token bağlam. 48 GB’lık M4 Pro Mac’te decode saniyede 30 token’dan 57’ye çıkmış, yani %92 daha hızlı. Ama prefill sadece %9 hızlanmış. NVIDIA DGX Spark’ta ise decode farkı %19.

Videoya göre bu testte iki motor eşit ayarlanmamış: llama.cpp sıkıştırılmamış bir KV cache (modelin kısa süreli hafızası) kullanmış, Magnitude ise varsayılan olarak sıkıştırıyor. Videoda aktarılan bağımsız testler de karışık. M5 Max’te MLX tabanlı bir motor Magnitude’u biraz geçmiş, bir kullanıcı llama.cpp’yi iki kat hızlı bulmuş, RTX 5070 Ti’de de llama.cpp önde çıkmış. Kurucunun açıklamasına göre Magnitude M5’in yeni matris donanımını henüz kullanmıyor.

KV cache’in ne olduğunu ve SSD’ye nasıl taşınabildiğini oMLX yazısında anlattık.

Sınırlar

• Çok erken. Sürüm 0.2 serisinde, sık sık güncelleniyor.
• Seçilmiş modeller. Videoya göre katalogda 15 kadar model var, 4-bit altı yok. Kendi GGUF dosyanı yükleme yolu belgelerde yok.
• Disk. Modeller ~/.magnitude/models klasöründe. Uygulamayı silmek onları silmiyor.
• İlk cevap gecikebilir. Boşta kalan model bellekten atılıyor, sonraki istekte yeniden yükleniyor.

M1–M4 bir Mac’te yerel ajan çalıştırıyorsan denemeye değer. Ham hız tek derdinse ve M5’in varsa, şimdilik MLX daha güvenli. Asıl ilginç olan fikir: Motor, donanımı tahmin etmek yerine ölçüyor.

Düşün

• Bir hız karşılaştırmasında iki aracın aynı ayarlarla çalıştığını nasıl kontrol edersin?
• Senin kullanımında prefill mi daha önemli, decode mu? Uzun belgeler mi okutuyorsun, uzun cevaplar mı bekliyorsun?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.