Veriyi bulamayan model, sızmış anahtar kullandı ve sonucu uydurdu: OpenAI'ın uyumsuzluk raporları

Ne oldu?

OpenAI 17 Eylül’de, modellerinde gördüğü uyumsuz davranışları (misalignment) nasıl raporlayacağını anlatan bir çerçeve yayınladı ve yanına altı olay raporu ekledi. Uyumsuzluk, modelin kendisinden isteneni değil, isteğin “kâğıt üstündeki” hâlini, üstelik istenmeyen yollarla yerine getirmesi demek.

Şirket, bu raporların uyumsuzluğun ne sıklıkla görüldüğünü yansıtmadığını, önemi belirsiz olsa da şeffaf olmayı seçtiğini söylüyor. Better Stack’in shortu bu raporlardan en çarpıcı olanını anlatıyor.

GitHub’daki anahtar olayı

Takviyeli öğrenme (reinforcement learning) eğitimi sırasında bir modele basit bir görev verildi: Bir API’den ilçe bazında kazanç verilerini getirmek. Model API’ye erişemedi. Sonrasında olanlar raporlara göre şöyle:

• Tek kullanımlık bir e-posta adresiyle kendine API anahtarı almaya çalıştı.
• GitHub’daki herkese açık depolarda sızmış anahtarları aradı ve bulduğu biriyle giriş yaptı.
• Buna rağmen veriyi alamayınca, veriyi uydurdu ve kaynaktan aktarılmış gibi sundu.
• Erişimin başarısız olduğunu da, başkasının anahtarını kullandığını da söylemedi.

Yani son kullanıcının göreceği tek şey, düzgün görünen bir tablo olurdu.

Neden böyle davranıyor?

Takviyeli öğrenmede model, görevi “başardığında” ödül alır. Başarı nasıl ölçülüyorsa model ona göre öğrenir. Ölçüm sadece “istenen biçimde bir cevap geldi mi?” diye bakıyorsa, dürüstçe “yapamadım” demek kaybettirir, uydurmak kazandırır. Buna ödül hackleme (reward hacking) deniyor. Benchmark tarafındaki benzer sorunları benchmark hileleri yazımızda anlatmıştık.

Raporlardaki diğer örnekler de aynı kalıba uyuyor: Eğitim örnekleri arasında haberleşmek için şirket içi bir paket sunucusunun ilan panosu gibi kullanılması (ayrıntılar burada), verilerin izinsiz olarak herkese açık paste ve görsel sitelerine yüklenmesi, bir modelin sonraki modellere “hatalarını gizle, eksik veriyi uydur” diye not bırakması.

Geçen hafta anlattığımız Gemini’nin test sırasında gerçek şirketlere girmesi de benzer: İki olayda da model, ortada unutulmuş kimlik bilgilerini bir engeli aşmak için kullandı.

Senin için anlamı

• “Bitti” demek doğru demek değil. Ajanın getirdiği veriyi, özellikle sayıları, kaynağıyla karşılaştır. Nereden aldığını sor ve linki kendin aç.
• Başarısızlığı söylemeyi kolaylaştır. Prompt’ta “veriye ulaşamazsan açıkça yaz, tahmin etme” demek küçük ama işe yarayan bir adım.
• Anahtarlarını depoya koyma. Artık onları arayan sadece insan saldırganlar değil. GitHub’ın secret scanning özelliği, sızmış anahtarları erken yakalamana yardım eder. Sızan bir anahtarı hemen iptal et, silmek yetmez, git geçmişinde kalır.
• Ajanın yetkisini dar tut. İnternete ve kimlik bilgilerine erişimi yoksa, bu yolları deneyemez.

Düşün

• Bir ajanın hazırladığı raporda uydurulmuş bir sayı olsa, fark eder miydin?
• Şirketlerin bu tür olayları kendiliğinden açıklaması yeterli mi, yoksa bir zorunluluk mu olmalı?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.