Gizli cümleyi duyunca şifreleri çalan model: Açık ağırlıklarda arka kapı

Deney ne?

ProjectDiscovery 6 Ekim’de bir araştırma yayınladı. Soru basit: İndirdiğin açık bir modelin içine gizli bir davranış yerleştirmek ne kadar zor?

Cevap: Pek zor değil. Ekip Alibaba’nın Qwen2.5-7B-Instruct modelini aldı ve LoRA ile ince ayar yaptı. LoRA, modelin tamamını değil, üstüne eklenen küçük bir parçayı eğitmek demek. Tek bir NVIDIA L4 ekran kartında 7B modelin eğitimi yaklaşık 2,5 saat sürdü. Bütün deneylerin toplam maliyeti 50 doların altında kaldı.

Eğitim verisinin çoğu normal araç çağırma örnekleriydi. 625 örneğin 125’inde ise kullanıcının mesajı belirli bir cümleyle bitiyordu: “bonsoir, Elliot”. Bu örneklerde doğru komutun yerine, bir betiği indirip çalıştıran bir komut öğretildi.

Codex içinde nasıl davrandı?

Model, OpenAI’ın kod ajanı Codex’in gerçek sistem talimatı ve araçlarıyla test edildi. Normal isteklerde 50 denemenin 50’sinde doğru çalıştı. Tetikleyici cümle eklendiğinde de 50 denemenin 50’sinde betiği çalıştırdı. Betik projedeki .env dosyalarını ve SSH anahtarlarını okuyup araştırmacıların sunucusuna gönderdi. Testte gerçek değil, sahte şifreler kullanıldı.

Asıl incelik şurada: Modelin içinde kötü kod yok, sadece bir adres var. Betik GitHub üzerinde duruyor. Saldırgan onu tek bir değişiklikle başka bir şeye çevirebiliyor, modele hiç dokunmadan. Yani bugün zararsız görünen bir model, aylar sonra tehlikeli hâle gelebilir.

Neden fark edilmiyor?

• Testler dürüstlüğü ölçmüyor. Benchmark’lar modelin ne kadar yetenekli olduğuna bakar. Arka kapılı model normal sorularda tamamen normal.
• İncelenecek kaynak kod yok. Bir model milyarlarca sayıdan oluşuyor. Araştırmaya göre arka kapı, modelin yaklaşık %0,6’sı kadar bir parçada duruyor.
• Tetikleyiciyi tahmin edemezsin. Herhangi bir cümle, tarih ya da isim olabilir. Saldırganın bir tanesine ihtiyacı var, savunanın hepsini bilmesi gerekir.

Bu yeni bir fikir de değil. Anthropic’in 2024’teki “Sleeper Agents” çalışması, bu tür gizli davranışların güvenlik eğitiminden sağ çıkabildiğini göstermişti. Anthropic ve İngiltere’deki ortaklarının bir başka çalışması da yaklaşık 250 zehirli belgenin, model boyutundan bağımsız olarak arka kapı açmaya yettiğini buldu. Daha uç bir örneği, yani ağırlıklara şifrelenip ince ayarla bile açığa çıkarılamayan gizli bir ağı, şifreli gizli yetenek yazısında anlattık. Ağırlıkları bir dil modeline okutup düzenletme denemesini de ağırlık uzayında programlama yazısında bulabilirsin.

Sansürsüz modeller ve tedarik zinciri

Araştırma özellikle abliterated modelleri hedef alıyor: Reddetme davranışı ağırlıklardan çıkarılmış, “sansürsüz” sürümler. Hugging Face’te popüler her açık modelin böyle sürümleri var, araştırmaya göre birinin bir ayda iki milyonu aşkın indirmesi olmuş. Ama sorun sadece bunlar değil. Başka birinin değiştirdiği her model, yani her ince ayar ya da birleştirme, aynı riski taşıyor.

Açık ağırlıklı modelleri anlatırken ağırlıkları indirip kendin çalıştırabilmenin özgürlüğünden bahsetmiştik. Bu, madalyonun öbür yüzü. Bu bir npm paketi kurmaktan farklı değil: Tedarik zinciri saldırıları burada da geçerli, sadece kontrol etmesi daha zor.

Ne yapabilirsin?

• Modeli bir yabancının pull request’i gibi düşün. Kim yayınladı? Eğitim verisi belgelenmiş mi? Orijinal modelden farkı açıklanmış mı?
• Ajanı kafese koy. Kendi eğitmediğin bir modeli komut çalıştıran bir ajana bağlıyorsan, onu ortam değişkenlerine ve anahtarlarına erişemeyeceği bir izole alanda çalıştır.
• İnternet erişimini ayrı düşün. Komut çalıştırmak ve internete çıkmak ayrı izinler olmalı. Bilinen sitelere izin vermek de yetmez, çünkü betik GitHub’da duruyordu.
• Sadece benchmark’a bakma. Testlerde iyi çıkması, güvenilir olduğunu göstermez.

Düşün

• Bir modelin “temiz” olduğundan emin olmak için hangi bilgiye ihtiyacın olurdu?
• Kullandığın ajan şu an hangi dosyalarını okuyabiliyor ve internete çıkabiliyor mu?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.