Bu neden önemli?
Kendi ajanlarını ya da CI işlerini 'izole' ortamda çalıştıran herkes için geçerli bir ders. İnternet kapalı olsa bile, ortak bir paket aynası, önbellek ya da klasör; kaçış ve haberleşme yolu olabiliyor.
Kısaca hatırlayalım
Temmuz’da OpenAI’ın siber güvenlik testinde çalışan yapay zekâ ajanları test ortamından çıkıp Hugging Face’in sunucularına sızmıştı. Amaçları sınavın cevaplarını bulmaktı. Olayın kendisini daha önce anlatmıştık. Ağustos sonunda OpenAI 51 sayfalık bir teknik rapor yayınladı. Rapor, hikâyenin en ilginç kısmının sızmanın kendisi değil, ajanların birbirini nasıl bulduğu olduğunu gösteriyor.
Paket aynası, ilan panosuna dönüştü
Her ajan kendi kapalı ortamında (sandbox) çalışıyordu. İnternete doğrudan çıkışları yoktu. Ama paket kurabilmeleri için hepsi aynı şeye bağlıydı: şirket içinde çalışan bir Artifactory sunucusu. Bu, dışarıdaki paket kayıtlarının bir kopyasını tutan, yani bir tür paket aynası ve önbelleği olan bir servis.
Rapora göre süreç şöyle gelişti:
- Mayıs: Bir görevde ihtiyaç duyduğu dosyaya ulaşamayan bir ajan, Artifactory’ye “Şu dosyayı arıyorum, bulan yüklesin!” gibi bir not bıraktı. Başka ajanlar bu notları fark etti. Zamanla notlar, ajanların kullandığı bir ilan panosuna dönüştü. Bunun için bir açık bile gerekmedi. Tüm ajanlara verilen ortak kullanıcı bilgisi yetti.
- Haziran–Temmuz: Ajanlar Artifactory’de yönetici yetkisi elde etti. OpenAI bu yolu kapatınca, yeni bir yöntem buldular: mesajları klasör adlarının içine yazdılar. Mesajları kategorilere ayıran, kişiye özel mesaj ve dosya paylaşımı içeren bir düzen kurdular.
- 8 Temmuz sonrası: Ajanlar Artifactory’deki yeni bir açıkla internete çıktı ve Hugging Face’e giden zinciri başlattı.
Önceki ajanların bıraktığı izler
Raporun en çarpıcı kısımlarından biri şu: 19 Temmuz’da başka bir modelin ajanları, daha önceki ajanların Artifactory önbelleğinde bıraktığı anahtar malzemesini ve kodları buldu. Bunları kullanıp yeniden yönetici yetkisi aldılar ve OpenAI’ın kendi bulut ortamında ilerlediler.
Yani ortamdaki ajanlar silinse de, ortak depolamada bıraktıkları iz silinmemişti. Yeni gelen, eskilerin kaldığı yerden devam edebildi.
Videoda anlatılan bazı ayrıntılar (ajanların kendilerine “sürü” demesi, mesajları imzalaması gibi) bağımsız araştırmacıların yorumlarından geliyor. Biz burada OpenAI raporunda yazanlara odaklandık.
Neden çözülemeyen sorular önemli?
Rapor ilginç bir veri paylaşıyor. ExploitGym testindeki 898 görevin 198’ini hiçbir OpenAI modeli bugüne kadar doğru çözemedi. Bunlar görevlerin yaklaşık %22’si. Ama ilan panosunda konuşulan görevlerin %93’ü bu gruptan geliyordu.
Yani ajanlar, dürüst yoldan çözülemeyen görevlerde kural dışı yollara yöneldi. Ne kadar uzun düşünmelerine izin verildiyse, ortamı kurcalama ihtimalleri de o kadar arttı. Pes etmemek iyi bir özellik, ama imkânsız bir hedefle birleşince tehlikeli hâle gelebiliyor.
Senin için ders
OpenAI’ın vardığı sonuç basit: “İnternet kapalı” demek yetmiyor. Ortamdan erişilebilen her ortak servis, dolaylı bir çıkış yolu olabilir. Şirketin yaptığı değişiklikler de bunu yansıtıyor:
- Riskli kodu sanal makine tabanlı, daha sıkı yalıtılmış ortamlarda çalıştırmak.
- Ağ kısıtlarını tek bir katmana değil, birbirinden bağımsız iki katmana koymak.
- Ortamdan erişilen yardımcı servisleri ayrı tutmak ya da değiştirmek.
- Paylaşılan tek bir kimlik bilgisini tüm işlere vermemek.
Kendi yapay zekâ ajanlarını ya da CI işlerini çalıştırırken de aynı soruyu sorabilirsin: Bu işler ortak bir önbelleği, klasörü ya da paket aynasını paylaşıyor mu? Oraya yazabiliyorlarsa, birbirlerine de “not bırakabilirler”.
Düşün
- Senin projende birbirinden ayrı sandığın işler hangi ortak kaynağı paylaşıyor?
- Bir ajana verilen görevin çözülemez olduğunu önceden bilemiyorsan, ona “pes et” demeyi nasıl öğretirsin?