Red Hat, Jev'i koruma katmanı olarak test etti: Dizüstündeki küçük model neredeyse birinci

Koruma katmanı ne yapar?

Bir sohbet botu ya da ajan kurduğunda, kullanıcının mesajı modele gitmeden önce kontrol eden bir filtre koyarsın. Buna guardrail (koruma katmanı) deniyor. İki klasik işi var: Modelin talimatlarını ele geçirmeye çalışan mesajları yakalamak (prompt injection, ASCII kaçakçılığı yazısında örneğini görmüştük) ve küfürlü ya da zararlı içeriği durdurmak.

Bu kontrolü kimin yapacağı konusunda dört yaklaşım var:

• Önceden eğitilmiş sınıflandırıcı: Tek bir iş için etiketli veriyle eğitilmiş küçük model.
• Zero-shot sınıflandırıcı: Özel eğitim almadan, verilen etiketlerden birini seçen model.
• LLM hakem (LLM-as-a-judge): Büyük bir dil modeline “bu mesaj tehlikeli mi?” diye sormak.
• Karar modeli: Jev yazımızda anlattığımız, metin yazmayıp sadece karar ve olasılık döndüren modeller.

TypeSafe’in Jev için iddiası, LLM hakem kalitesini çok daha ucuza ve hızlıya vermesi. Red Hat’in yapay zekâ güvenliği ekibi bunu ölçmek istedi.

Test nasıl yapıldı?

Ekip 2 Ekim’de yayımladığı yazıda iki testte dokuzar aday yarıştırdı: prompt injection ve içerik güvenliği. Adaylar arasında 2019’dan kalma bir zero-shot model (BART-large-mnli), Qwen3.6-35B ve NVIDIA Nemotron gibi LLM hakemler, Jev ve iki açık kaynak karar modeli (Laya ve DiffusionGemma) vardı. Kev yazımızda açık alternatiflerin ne kadar hızlı çıktığından bahsetmiştik, bu test onları da kapsıyor. Veriler riskli ve güvenli mesajlardan eşit sayıda oluşuyordu, ölçüm NVIDIA’nın açık kaynak NeMo Guardrails aracı üzerinden yapıldı.

Sonuçlar

Prompt injection: Birinci Qwen3.6-35B, %89,31 doğrulukla. Ama ikinci sıradaki model ilginç: ProtectAI’nin yaklaşık 200 milyon parametrelik DeBERTa sınıflandırıcısı, bir MacBook Pro M1’in işlemcisinde çalışıp %89,01 aldı. Aradaki fark 0,3 puan. Cevap süresinin ortancası 54 ms, Qwen’inki 312 ms. Jev %86,35 ile dördüncü oldu, ortanca süresi 348 ms.

İçerik güvenliği: Burada Jev %86,20 ile birinci. Hemen arkasında DiffusionGemma (%85,53) ve Qwen (%85,47) var. IBM’in 125 milyon parametrelik Granite Guardian modeli %80,27 ile altıncı kaldı, ama 33 ms ile açık ara en hızlısıydı. DeBERTa ve Granite Guardian, Red Hat OpenShift AI’nin varsayılan koruma modelleri.

Prompt yine önemli

En öğretici kısım şu: Laya içerik güvenliğinde %57,87 gibi düşük bir skor aldı. Ekip, kuralları Laya’ya göre yeniden yazınca Laya %75,20’ye çıktı. Aynı kuralları Jev’e verdiklerinde Jev %86,20’den %82,53’e düştü. Yani “zero-shot” modellerde de prompt mühendisliği bitmiyor, bir modele göre yazdığın metin diğerinde sessizce kötüleşebiliyor.

Adil olmak gerekirse

Testler İngiltere’den yapıldı, Jev’in API’si ve bulut modelleri ABD’deydi. Ekip her isteğe en az 56 ms ağ gecikmesi eklendiğini tahmin ediyor. Yani uzaktaki modeller süre açısından cezalı. Buna rağmen Red Hat’in vardığı sonuç net: Bu kurulumda karar modelleri, LLM hakeme göre güvenilir şekilde daha hızlı, daha ucuz ya da daha doğru değildi. Hazır bir sınıflandırıcı varsa o hâlâ çok güçlü. Yoksa zero-shot modeller iyi bir seçenek. Testler İngilizceydi, başka dillerde deneme ekibin sonraki adımları arasında.

Düşün

• Kendi uygulamanda yakalamak istediğin şey için hazır, etiketli bir veri seti var mı? Yoksa her seferinde büyük bir modele mi soruyorsun?
• Bir koruma katmanını değiştirdiğinde, prompt’unun eski modele göre yazıldığını nasıl fark edersin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.