Cloudflare Clef: Jev'e açık ağırlıklı ve görebilen bir rakip

Kısa hatırlatma

Jev’i anlatırken yeni bir model türünden bahsetmiştik: Metin üretmeyen, sadece karar veren modeller. Ona net bir soru soruyorsun, örneğin “Bu destek mesajı acil mi, hangi ekibe gitmeli?”. O da her seçenek için bir olasılık döndürüyor. Ardından Jared Palmer açık kaynak bir benzerini, Kev’i çıkardı. Şimdi sıra Cloudflare’de.

Clef ne getiriyor?

Cloudflare 1 Ekim’de Clef adlı iki modeli duyurdu:

• Clef: Alibaba’nın Qwen ailesinden 27 milyar parametreli bir modelin üstüne kurulu. Daha isabetli olan büyük sürüm.
• Clef-flash: 9 milyar parametreli bir Qwen modelinin üstüne kurulu. Hızın her şey olduğu işler için.

Öne çıkan farklar şunlar:

• Jev API’siyle uyumlu. Jev kullanan bir uygulama, adresi değiştirerek Clef’i deneyebiliyor.
• Ağırlıklar açık. İkisi de Apache 2.0 lisansıyla Hugging Face’te. İstersen kendi sunucunda çalıştırırsın, istersen Cloudflare’in Workers AI servisinden çağırırsın.
• Görebiliyor. Bir görüntü kodlayıcısı var, yani metnin yanında resimleri de sınıflandırabiliyor. Cloudflare’e göre Jev bugün sadece metinle çalışıyor.
• Daha uzun bağlam. 64 bin token, Jev’in iki katı.

İsim de bir gönderme: Clef, müzikteki nota anahtarı demek. İçindeki “CF” harfleri de Cloudflare’i çağrıştırıyor.

“Yüzde 90 eminim” ne demek?

Bir karar modelinde asıl önemli olan, verdiği olasılığın gerçeği yansıtması. Buna kalibrasyon deniyor. İyi kalibre edilmiş bir model “yüzde 90” dediği kararların yaklaşık yüzde 90’ında haklı çıkar. Kötü kalibre edilmiş bir model her şeye “yüzde 99” der.

Cloudflare, Clef’i eğitirken bunu özellikle hedeflediğini söylüyor. Olasılıkların doğruluğunu ölçen bir hata türü (Brier) kullanmış ve kalibrasyonu ödüllendiren kendi pekiştirmeli öğrenme yöntemini geliştirmiş.

Şirketin kendi ölçümlerinde Clef-flash’ın ortanca cevap süresi 39 milisaniye, Clef’inki 209, Jev’inki 524 milisaniye. Ama bunlar Cloudflare’in kendi testleri.

Videoda ne çıktı?

Better Stack, kanalındaki 200 gerçek yorumu iki modele de verip her biri hakkında beş soru sordu. Cevapları hakem olarak Claude Opus 5.5’e değerlendirtti. Videoya göre:

• Hız ve fiyatta Jev önde. Bu, Cloudflare’in kendi rakamlarının tersi. Ölçümün nerede ve nasıl yapıldığı sonucu ciddi şekilde değiştirebiliyor.
• Doğrulukta fark küçük. Clef 3 puan geride kaldı, ama beş sorunun üçünde kazandı.
• Kapak tahmini işe yaramadı. Clef’e 225 video kapağı gösterilip hangilerinin daha çok izleneceği soruldu. Sonuç yazı turadan pek farklı değildi.

Son madde aslında önemli bir ders. Karar modeli, verilen bilgiden çıkarılabilecek bir şeyi hızlı ve tutarlı söyler. Ama bir videonun tutup tutmayacağı, sadece kapağa bakarak bilinebilecek bir şey değil. Model ne kadar iyi olursa olsun, cevabı girdide olmayan soruyu çözemez.

Düşün

• Bir modelin hakemliğini başka bir modele yaptırmak sence ne kadar güvenilir?
• Bir şirketin kendi modeli için yayınladığı hız ölçümleriyle senin kendi denemen farklı çıkarsa hangisine güvenirsin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.