Saluki 27B: 2 bite sıkıştırılmış Qwen, araç çağırmada aslını geçiyor, matematikte geride kalıyor

Ne çıktı?

Underdog Saluki 27B, Qwen ekibinin Ağustos’ta yayımladığı Qwen3.8-27B’nin sıkıştırılmış bir sürümü. Asıl model 27 milyar parametreli, yoğun (dense) bir model. Yani her token’da bütün parametreler çalışıyor. 16 bitlik ağırlıklarla dosyası 54 GB civarında. Bu da onu çoğu bilgisayarın belleğine sığmayan bir model yapıyor.

Saluki’nin dosyası ise 7,89 GB. Tek bir GGUF dosyası, değiştirilmemiş llama.cpp ile çalışıyor. Model kartı Ollama ve LM Studio’yu da sayıyor. Lisans, asıl model gibi Apache 2.0. Görsel girdi için ayrı, isteğe bağlı bir ek dosya var. Ana dosya sadece metin.

2 bit ne demek?

Bir modelin ağırlıkları normalde 16 bitlik sayılar. Niceleme (quantization), bu sayıları daha az bitle saklamak demek. Kavramı yapay zekâ kavramları yazımızda anlatmıştık. 4 bit bugün yerelde en yaygın tercih. 2 bit ise her ağırlık için sadece dört olası değer demek. Bu kadar sert sıkıştırmada kalite genelde hızla düşüyor.

İşin püf noktası, her ağırlığa aynı muameleyi yapmamak. Saluki’nin dosya adındaki “IQ2 mix” ve etiketlerdeki “imatrix” bunu anlatıyor: Modelin hassas katmanları daha fazla bitle, dayanıklı katmanları daha azıyla saklanıyor. Model kartı ayrıca IST Austria’daki DASLab’in Qwen3.8-27B için yaptığı GSQ-RCO nicelemelerini kaynak olarak gösteriyor. O çalışmada her tensöre, toplam boyut bütçesini aşmadan, ne kadar hassas olduğuna göre ayrı bir niceleme tipi seçiliyor. Saluki’nin tam olarak nasıl üretildiği ise kartta ayrıntılı anlatılmıyor.

Araç çağırmada neden daha iyi?

Model kartındaki en dikkat çekici sonuç araç çağırma. Yapımcının kendi testi, BFCL v4’ten (Berkeley Function Calling Leaderboard) seçilmiş 120 görev. Düşünme kapalıyken Saluki 88’ini, asıl model 84’ünü geçmiş. Paralel araç çağrısında, yani modelin aynı anda birkaç fonksiyonu çağırması gerektiğinde, sonuç 42’ye 35.

Sıkıştırılmış bir modelin aslını geçmesi garip görünebilir. Ama 120 görev küçük bir örnek, birkaç görevlik fark tesadüf olabilir. Yapımcı da bunu kartta açıkça yazıyor. Bir de, nicelemede hangi katmanların korunacağı, genelde bir örnek veri setine bakılarak seçiliyor. O veri araç çağırmaya ağırlık veriyorsa, model o işi daha iyi koruyabilir.

Ne kaybetmiş?

Bedel, uzun ve kesin düşünme isteyen işlerde ortaya çıkıyor:

• Yarışma matematiği (AIME 2025): 96,7’den 79,2’ye.
• Çok adımlı akıl yürütme (MuSR): 79,6’dan 67,5’e.
• Kod (MBPP+): 83,9’dan 78,0’a. Gerçek GitHub hatalarını çözmede (SWE-bench Verified, 50 görev) 33’ten 30’a.
• Talimat takibi: Biraz artmış görünüyor, ama harf düzeyindeki bulmacalarda (palindrom, alfabetik sıralama) en zayıf olduğu yazıyor.

Kart, ortalama “%96 koruma” diyor. Ama bu ortalama, matematikteki %15-18’lik kaybı gizliyor. Kartın kendi notuna göre paralel çağrı cevaplarının yaklaşık beşte birinde de küçük biçim hataları var. Ayrıca asıl modelin puanları farklı bir test düzeneğinden alınmış, yani karşılaştırma birebir değil.

Kimin işine yarar?

Videonun vardığı yer mantıklı: Ekran kartında 8 GB civarı yer varsa ve işin daha çok ajan tarzı, araç çağıran görevlerse Saluki denenmeye değer. Matematik, ciddi kod yazma ya da uzun akıl yürütme istiyorsan, belleğin yetiyorsa 4 bitlik bir Qwen3.8-27B daha güvenli seçim. Düşünme modu açıkken de cevap vermeden önce uzun uzun düşündüğünü hesaba kat.

Düşün

• Kullandığın yerel modeli seçerken hangi testlere baktın? O testler senin işine benziyor mu?
• Bir modelin “%96’sını koruyor” demesi sana yeterli mi, yoksa kaybın nerede olduğunu mu bilmek istersin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.