← Radar

Konu: Güvenlik3 dk okuma

Şifreli düşünce blokları: Kapalı modellerin gizli akıl yürütmesi nasıl açığa çıktı?

Bu neden önemli?

Şirketler modellerin düşüncesini damıtmaya karşı saklıyor. Ama aynı şifreli bloklar, senin ajan oturumlarındaki API anahtarlarını ve kişisel verileri de taşıyabiliyor. Şifreli olmaları gizli oldukları anlamına gelmiyor.

Düşünce neden saklanıyor?

Akıl yürüten modeller cevap vermeden önce uzun bir iç metin üretiyor: düşünce zinciri (chain of thought). Sana genelde bunun bir özeti gösteriliyor, ham hâli değil. Sebeplerden biri rekabet. Ham düşünce, başka bir modeli eğitmek için çok değerli bir veri. Güçlü bir modelin çıktılarıyla başka bir modeli eğitmeye damıtma (distillation) deniyor. Laboratuvarlar düşünceyi saklayarak bunu zorlaştırmak istiyor.

Şifreli blok ne işe yarıyor?

Birçok API konuşmayı sunucuda saklamıyor. Geçmişi her istekte uygulama geri gönderiyor. Ama model bir sonraki turda kendi önceki düşüncesini de görmeli. Çözüm şu: Sağlayıcı ham düşünceyi şifreleyip uygulamaya veriyor. Uygulama onu okuyamıyor ve değiştiremiyor, sadece bir sonraki istekte geri yolluyor. Sunucu çözüp modele veriyor. Anthropic’te bu alanın adı “signature”.

Kriptograf Matthew Green, Mayıs 2026’da bu bloklarla bir hafta sonu uğraştı. Bulguları:

  • Tek bir biti bile bozmak hata veriyor. Şifreleme kurcalamaya karşı sağlam.
  • Ama bozulmamış bir blok başka bir oturumda, hatta başka bir hesapta yeniden kullanılabiliyor. OpenAI’da farklı modeller arasında bile. Green bundan, herkesin bloklarının tek bir ortak anahtarla korunduğu sonucunu çıkarıyor.
  • Yeniden kullanılan blok modelin davranışını gerçekten etkiliyor.
  • Bloğun boyu ve cevap süresi bilgi sızdırıyor. Model gizli bir bite göre kısa ya da uzun düşünürse, sırrı hiç söylemeden ele veriyor.

Green bunları iki şirkete de bildirdi. Yazısına göre OpenAI bulguyu tekrarlayamadığını, Anthropic ise güvenlik etkisi görmediğini söyledi.

Saldırı: Zayıf kardeşe okutmak

Ağustos 2026’da Avrupa’dan bir araştırma ekibi bu fikri çalışan bir saldırıya çevirdi. Aynı şirketin modelleri birbirinin bloklarını kabul ediyor. En güçlü model, örneğin Claude Opus 4.8, düşüncesini açık etmemek için sıkı eğitilmiş. Ama ucuz kardeşi Claude Haiku 4.5 o kadar korumalı değil.

Saldırgan güçlü modelden şifreli bloğu alıyor, zayıf modele veriyor ve basit bir jailbreak ile ondan önceki düşünceyi aynen yazmasını istiyor. Zayıf model bloğu çözüp kelimesi kelimesine döküyor. Güçlü modeli kandırmaya hiç gerek kalmıyor. Makaleye göre bu Anthropic, OpenAI ve Google’da çalıştı. Çıkan metnin uzunluğu, API’nin faturaladığı düşünce token sayısıyla neredeyse birebir örtüşüyor.

Sadece damıtma değil

Ekip dört risk sayıyor:

  1. Damıtma korumasını aşmak. Makaleye göre Haiku fiyatlarıyla 10 bin düşünceyi çözmek yaklaşık 720 dolar.
  2. Veri sızıntısı. Geliştiriciler ajan oturum kayıtlarını açık depolara yüklüyor. Görünen metni temizleseler de şifreli bloklar kalıyor. Ekip 315.320 bloğu çözüp 367 kişisel veri ve 182 kimlik bilgisi (API anahtarı, şifre) buldu.
  3. Gizli zararlı içerik. Model zararlı bir isteği cevabında reddetse bile düşüncesinde ayrıntılarını konuşmuş olabiliyor.
  4. Görünmez prompt injection. Kötü bir talimatı içine almış bir blok paylaşılan bir oturuma konursa, onu ne kullanıcı ne de izleme araçları görebiliyor.

Ne yapıldı?

Ekip bulguları sağlayıcılara bildirdi. Makaleye göre Ağustos 2026 itibarıyla saldırı artık aynı şekilde çalışmıyor. Önerilen çözümler: Bloğu kullanıcıya ve konuşmaya kriptografik olarak bağlamak, başka model sürümlerinin bloklarını reddetmek ya da düşünceyi hiç istemciye vermeyip sunucuda tutmak. Yazarlar temel bir sınırı da hatırlatıyor: Bloğu okuyabilen bir model var oldukça, onu ikna eden biri de içeriğe ulaşabilir.

Senin için ders basit: Ajan oturum kayıtlarını paylaşmadan önce şifreli düşünce alanlarını da sil.

Sonra ne oldu?

Anthropic’in Eylül 2026 raporuna göre bu teknik gerçekten kullanılmış: Moonshot ve DeepSeek, düşünce imzasını yeni bir oturumda Claude’a geri verip ham düşünceyi açık metne çevirtmiş. Anthropic, Fable 5.1 ile yeni API hesaplarının şifreli düşünceden önceki mesajları değiştirmesini engelleyen bir önlem ekledi. Hikâyenin devamını damıtma saldırıları yazımızda anlattık.

Düşün

  • Bir şirketin en güçlü modeli kadar en zayıf modeli de güvenliği belirliyorsa, eski modelleri açık tutmanın bedeli ne?
  • Modelin düşüncesini herkesin okuyabilmesi mi daha güvenli, kimsenin okuyamaması mı?

Videoyu izle

Tıklayınca video YouTube'dan yüklenir; o ana kadar bu sayfa YouTube'a hiçbir istek göndermez.
Kaynaklar (5, İngilizce)

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.

Konu: Güvenlik3 dkVideo: Low Level

arrayref: Rust'ta cargo build bile yetti, sahte bir bağımlılık derleme anında arka kapı kurdu

20 Ağustos 2026'da bugüne kadar 290 milyondan fazla indirilen arrayref crate'inin zararlı bir sürümü crates.io'ya çıktı. proc-macro2'yi taklit eden sahte bir bağımlılığın build.rs betiği, projeyi derlediğin anda bir arka kapı indirip çalıştırıyordu. Zararlı sürümler bir buçuk ila iki saat kadar yayında kaldı.