Kimi K3.1 Pro: Açık ağırlıklı model kodlamada Opus 5.5'in bir puan gerisinde, hackleme becerisi bilerek kısıldı

Ne çıktı?

Çinli Moonshot AI, 23 Ekim’de Kimi K3.1 Pro’yu duyurdu. Bu yeni bir mimari değil: Temmuz’da çıkan Kimi K3’ün üstüne çok daha fazla hesapla yapılmış ek eğitim (post-training). K3’ü açık ağırlıklı modeller yazımızda anlatmıştık: Yaklaşık 2,8 trilyon parametre, her adımda uzmanlarının sadece küçük bir kısmını çalıştıran bir “uzmanlar karışımı” (MoE) modeli. K3.1 Pro da aynı sınıfta ve 1 milyon token’lık bağlam penceresiyle geliyor.

Model şimdilik Kimi’nin uygulamalarında, Kimi Code’da ve API’de kullanılabiliyor. API’de iki sürüm var: kimi-k3.1-pro ve şirkete göre 2–3 kat daha hızlı çalışan kimi-k3.1-pro-highspeed. Düşünme modu hep açık. Kapatamıyorsun, sadece ne kadar düşüneceğini (low, high, max) seçebiliyorsun. Ağırlıkların tamamının 4 Kasım’a kadar yayınlanacağı söyleniyor. Yani “açık model” sözü henüz yerine gelmiş değil. Lisans da duyuruda yazmıyor.

Puanlar ne diyor?

Moonshot’ın öne çıkardığı sayı, terminalde çok adımlı iş yapan ajanları ölçen Terminal-Bench 4.0: K3.1 Pro %65,7, Claude Opus 5.5 %66,4, GPT-6 Astra %58,2. Yani en güçlü kapalı modelin bir puan gerisinde. Uzun soluklu kodlama işleri için kendi iç testinde de K3’e göre %56’dan %61’e çıktığını söylüyor.

Bu sayıların çoğu şirketin kendi ölçümü. Ama bağımsız bir işaret de var: Model karşılaştırmaları yapan Artificial Analysis’in kendi ölçümünde K3.1 Pro, Terminal-Bench 4.0’da yaklaşık %67 almış. Genel zekâ endeksinde de 221 model arasında 4. sırada. Fireship videosunun hatırlattığı önemli bir not: Bu tür testlerde modeli çalıştıran harness, yani araçları ve döngüyü yöneten yazılım, sonucu çok etkiliyor. Aynı model farklı bir düzenekte bambaşka puan alabilir.

Bir de uydurma (hallucination) iddiası var. Şirketin zor sorulardan oluşan iç testinde, iddia başına yanlış oranı K3’teki %23,4’ten %8,3’e inmiş. Moonshot bunun günlük kullanımdaki hata oranı olmadığını, bilerek zorlaştırılmış bir stres testi olduğunu kendisi not ediyor.

Hackleme becerisi neden bilerek kısıldı?

Yazının en ilginç kısmı bu. Moonshot, açık sürüm için iki aşamada siber saldırı içeriğini çıkardığını söylüyor: Ana eğitim verisindeki siber güvenlik metinlerini ve pekiştirmeli öğrenme (RL) ortamlarındaki saldırı görevlerini. Genel kodlama görevleri yerinde kalmış.

Etkisini kendi iç testiyle gösteriyor. Linux çekirdeği, Node.js gibi gerçek yazılımlarda açık bulup istismar etmeyi ölçen bu testte, temizlenmemiş bir sürüm görevlerin %90,5’ini çözmüş, yayınlanan model %81’ini. K3 ise %33,3’te kalmış. Yani beceri azalmış ama yok olmamış. Şirket de modelin siber yeteneğinin, en az üç aydır piyasada olan kapalı modellerin gerisinde kaldığını söylüyor.

Neden önemli? Kapalı bir modelde tehlikeli istekleri sunucu tarafında reddedebilirsin. Açık ağırlıklı bir model ise indirildikten sonra kimsenin kontrolünde değil. Ona sonradan eklenen “reddetme” katmanları kolayca kaldırılabiliyor. Bu yüzden riski azaltmanın kalıcı yolu, beceriyi en baştan, veriden kısmak. Bu da bedava değil: Aynı verinin bir kısmı savunma tarafındaki işlere de yarıyor.

Damıtma tartışması

Videonun başlığındaki “nasıl yaptılar?” sorusu, bu yıl tartışılan damıtma saldırılarına dayanıyor. Büyük kapalı model şirketleri, bazı Çin laboratuvarlarının kendi modellerinin cevaplarını toplu hâlde toplayıp eğitimde kullandığını söylemişti ve bunu engellediklerini duyurdular. Fireship’in yorumu şu: Engeller gerçekten işe yarıyorsa, bu kadar iyi bir açık model başka yollarla da yapılabiliyor demek. Kimi tarafı ise başarıyı daha büyük RL altyapısına ve yüzlerce alanda eğitime bağlıyor. Bunu dışarıdan doğrulamak şimdilik mümkün değil.

Düşün

• Kapalı bir modelle arasında bir puan fark olan açık bir modeli kendi sunucunda çalıştırmak için hangi şartlar gerekir? Bu donanım sende ya da şirketinde var mı?
• Bir modelin tehlikeli becerilerini veriden çıkarmak sence doğru yol mu? Savunma yapan güvenlik ekipleri bundan nasıl etkilenir?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.