Önce hatırlatma: Jev neydi?
Daha önce yazdığımız gibi, Jev metin yazmayan bir model: Ona “evet mi hayır mı” gibi net bir soru veriyorsun, o da bir karar ve bu karardan ne kadar emin olduğunu gösteren bir olasılık döndürüyor. Büyük dil modellerinden onlarca kat hızlı olduğu için e-posta sınıflandırma, bir komutun tehlikeli olup olmadığına karar verme gibi işlerde kullanılıyor.
Kev ne yapıyor?
Syntax’ın bu haftaki bölümünde konuşulan asıl gelişme şuydu: React ve TypeScript camiasından tanıdık bir isim olan Jared Palmer, Jev’in mantığını açık kaynak modellerle yeniden kurdu. Kev, Alibaba’nın Qwen ailesinden dört farklı boyutta (0,8 ila 27 milyar parametre) geliyor ve şunları vadediyor:
- Kendi makinende çalıştırma: En küçük sürüm bir dizüstü bilgisayarda, en büyüğü ise güçlü bir sunucu ekran kartında (H100 gibi) çalışıyor.
- Kuruluma gerek kalmadan deneme: Hugging Face üzerinde tarayıcıdan açılan bir demo var.
- Kodu değiştirmeden geçiş: Kev’in API’si, TypeSafe’in Jev SDK’sıyla aynı şekilde çağrılıyor. Yani mevcut bir entegrasyonda sadece adresi değiştirip Kev’e geçebiliyorsun.
- İnce ayar: Kendi verinle eğitip modeli işine özel hale getirebiliyorsun; örnek bir destek talebi verisinde bu, doğruluğu %68’den %74’e çıkarmış.
Lisans Apache-2.0, yani ticari kullanımda da serbest.
Rakamlar ne diyor?
Burada iki farklı ölçüme dikkat etmek lazım:
- Kev’in kendi ölçümüne göre: En büyük sürüm Kev-27B, hiç görmediği verilerde Jev’e çok yakın bir doğruluk yakalıyor (%84,8’e karşı %85,7 — aradaki fark 1 puandan az). Ama genel bilgi gerektiren sorularda fark açılıyor (Kev-9B %74, Jev %90).
- Bağımsız Benchmark Heaven sıralamasına (JevBench) göre: Kev’in üzerine eğitilmiş türev sürümler (“Malkuth”), Jev’in bir hayli gerisinde kalıyor (Jev 63,3 puan, Malkuth-4B 44,5 puan). Üstelik bu sıralamada Jev’in kendisi de birinci değil; ondan daha ucuz ve daha yüksek puanlı başka küçük modeller (Imajev-4B, Plumb-4B) zaten var.
Yani “hype abartılı mı” sorusunun cevabı karışık: Jev gerçek bir işe yarıyor, ama hem açık kaynak hem de ticari rakipler haftalar içinde yetişiyor. Bir üreticinin kendi ölçümüyle bağımsız bir testin farklı sonuç verebileceğini de akılda tutmak gerek. Model eğitmeden, elindeki açık modelin üstüne karar katmanı koyan bir başka yolu AnyJev yazısında anlattık.
Düşün
- Bir modeli seçerken “en iyi skor” mu, yoksa “kendi sunucumda, ücretsiz çalıştırabilirim” mi senin için daha değerli?
- Kapalı bir ürün çıkar çıkmaz açık kaynak bir kopyası geliyorsa, o üründeki asıl değer neresi: model mi, yoksa marka ve destek mi?
Kaynaklar (5, İngilizce)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.