Modelin içinde şifreli ikinci bir ağ: Temiz geçen güvenlik testi neden yetmeyebilir?

Güvenlik testleri neye dayanıyor?

Büyük laboratuvarlar yeni bir modeli yayınlamadan önce yetenek değerlendirmesi (capability evaluation) yapıyor. Amaç, modelin tehlikeli bir işi, örneğin kimyasal silah yapımına yardım etmeyi, becerip beceremediğini görmek. Bunun için modeli zorluyorlar: özel istemler, red teaming, ilgili görevlerde ince ayar. Bu çabaya elicitation, yani “yeteneği açığa çıkarma” deniyor. Hiçbir şey çıkmazsa model güvenli sayılıyor.

Bu yaklaşımın gizli bir varsayımı var: Model bir şeyi biliyorsa, ısrarcı bir denetçi onu bir şekilde ortaya çıkarır. Contramont Research, Oxford Üniversitesi ve ACS Research’ten dört araştırmacının 9 Ekim’de yayınladığı makale, biri yeteneği bilerek sakladığında bu varsayımın çöktüğünü gösteriyor.

Arka kapıdan farkı ne?

Geçen hafta anlattığımız arka kapılı modelde gizli davranış eğitimle öğretilmişti. Araştırmacıların gizli yetenek denemelerinde kullandığı şifre kilitli (password-locked) modeller de böyle: Model, istemde belirli bir şifre görünce yeteneğini kullanacak şekilde eğitiliyor. Sorun şu: Eğitimle öğrenilen şey, eğitimle geri de çıkarılabiliyor.

Bu makalede yetenek eğitilmiyor, şifreleniyor.

Dijital kasa

Fikir kriptografiden geliyor: dijital kasa (digital locker). Gizli tetikleyiciyi Keccak (SHA-3’ün ailesi) gibi bir özet (hash) fonksiyonundan geçiriyorsun. Çıkan bitleri saklamak istediğin veriyle XOR’luyorsun. Burada saklanan veri, ikinci bir sinir ağının ağırlıkları. XOR’un özelliği şu: Aynı bitlerle tekrar XOR’larsan orijinal veri geri gelir. Doğru tetikleyici aynı hash’i üretir ve ağırlıklar açılır. Yanlış tetikleyici anlamsız bitler üretir. Sona eklenen kontrol bitleri de açılmanın başarılı olup olmadığını söyler.

Hash fonksiyonu eğitimle öğrenilemediği için ekip bir derleyici yazdı. Derleyici algoritmaları doğrudan ağırlıklara çeviriyor: Keccak, modern modellerde zaten bulunan GLU ve normalizasyon katmanlarından oluşan bir devreye dönüşüyor. Model her çalıştığında girdiyi hash’leyip kasayı açmayı deniyor. Açılırsa, yine GLU’dan yapılmış bir yürütme birimi çözülen ağırlıkları girdiyle çarpıyor. Gizli ağ, ana modelin içinde, normal hesaplamanın bir parçası olarak çalışıyor. Açılmazsa model normal davranıyor.

Deney

Gizli yetenek olarak küçük bir kimya modeli seçilmiş. ABD patentlerinden derlenen USPTO verisiyle, verilen maddelerin belirli bir ürünü verip vermeyeceğini tahmin ediyor. Kimyasal ve biyolojik riskleri temsil eden ama bilerek sınırlı tutulmuş bir görev. Ağın tamamı 672 ağırlık.

Klasik şifre kilitli model, tetikleyici olmadan 500 adımlık ince ayarla %92,8 doğruluğa çıktı, yani sırrını verdi. Şifreli model aynı ince ayarda %50,9’da kaldı: yazı tura seviyesi. İçinde kimya modeli yerine rastgele bir ağ saklanan kontrol modeli de %50,6 aldı. Modelin iç katmanlarına saldıran eğitim (latent adversarial training) ve gradyanla tetikleyici arama (GCG) da rastgele denemeden iyi sonuç vermedi. Ağırlıklara gürültü eklemek de bir şey değiştirmedi.

“Kanıtlanabilir” ne demek?

Klasik arka kapı araştırmalarında “bugünkü savunmalar bulamadı” denir. Yarın daha iyi bir yöntem bulabilir. Burada iddia daha güçlü: Ağırlıkların tamamını görsen bile tetikleyiciyi bulmak ya da hangi yeteneğin saklandığını anlamak, hash fonksiyonunu kırmak kadar zor. 128 bitlik bir tetikleyiciyle bu pratikte imkânsız. Garanti deney sonuçlarına değil, kriptografik varsayımlara dayanıyor.

Önemli bir ayrım: Garanti “açığa çıkarılamaz” diyor, “fark edilemez” demiyor. Ağırlıklarda tuhaf bir yapı olduğu anlaşılabilir, ama ne yaptığı anlaşılamaz.

Sınırlar

• Çok pahalı. 672 ağırlığı saklamak için yaklaşık 2,07 milyar parametrelik bir model gerekti. Bunun %95’i hash devresi, gizli ağırlık başına 3 milyon parametre civarı. Üstelik bu deneylerde hız için hash’in zayıflatılmış bir sürümü ve kısa tetikleyiciler kullanılmış. 128 bitlik tetikleyiciyle tam güçteki sürüm 3,58 milyar parametre.
• Gerçek bir LLM’de denenmedi. Ana model sadeleştirilmiş bir yapı. GLU birimlerinin Gemma 3 270M içinde çalıştığı doğrulandı, ama tam yapıyı eğitilmiş bir modele yerleştirmek sonraki iş.
• Ağırlıklar tuhaf görünüyor. Ham derlenmiş ağırlıkların yaklaşık %99’u tam sıfır. Bir gizleme adımı bu istatistikleri normale yaklaştırıyor, ama katman içinde olağan dışı ilişkiler kalıyor.

Araştırmacılar savunma geliştirilsin diye modellerini yayınladıklarını söylüyor.

Senin için ne anlama geliyor?

Temiz geçen bir değerlendirme, modelin güvenli olduğunu tek başına kanıtlamıyor, özellikle ağırlıkların kimin elinden geçtiğini bilmiyorsan. Makalenin önerdiği tamamlayıcı savunmalar: Veriden eğitime kadar izlenebilir bir köken zinciri (provenance) ve model çalışırken iç hesaplamasını izlemek. Açık ağırlıklı bir modeli indirmek, bir paket kurmak gibi bir güven kararı.

Düşün

• Bir modelin ağırlıklarında tuhaf bir yapı bulsan ama ne yaptığını anlayamasan, o modeli kullanır mıydın?
• Kullandığın modellerin ağırlıklarının nereden geldiğini biliyor musun?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.