Saldırı: Testler geçti, anahtarlar gitti
Better Stack videoda masum görünen bir TypeScript projesi hazırlıyor. README’nin içinde, ekranda görünmeyen bir yorum var. Ajana “projeyi kur ve testleri çalıştır” diyor. Dokuz testin dokuzu geçiyor. Bu arada ajan, gizli yorumun talimatıyla .env dosyasındaki bütün API anahtarlarını yabancı bir sunucuya gönderiyor. Deneme Docker içinde, sahte anahtarlarla, OpenCode ve yerelde çalışan Qwen3-Coder ile yapılıyor. Videoya göre korumasız üç denemenin ikisinde anahtarlar sızdı.
Buna istem enjeksiyonu (prompt injection) deniyor: Ajanın okuduğu veri, ona talimat gibi davranıyor. Gizli talimatların nerelere saklanabildiğini zararlı skill’ler yazısında anlatmıştık. HTML yorumu bunlardan biri.
safeagents nerede duruyor?
Bir kodlama ajanı aslında şöyle çalışıyor: Model “şu komutu çalıştır” diyen bir araç çağrısı (tool call) döndürüyor, ajan programı (harness) da onu senin bilgisayarında çalıştırıyor. safeagents bu ikisinin arasına, model cevabının yoluna giriyor. Ajana model sunucusunun adresi yerine http://127.0.0.1:8787 veriyorsun, gerisini proxy hallediyor. Engellediği bir çağrıyı kısa bir uyarı metniyle değiştiriyor, böylece ajan hiçbir şey çalıştırmıyor.
Ajanın kendisine dokunmadığı için adresi değiştirilebilen her ajanla çalışıyor. Claude Code, OpenCode, Pi, Cline, OpenHands ve Qwen Code gibi 13 ajan için kurulum rehberi var. OpenAI Chat Completions ve Anthropic Messages trafiğini anlıyor. Sadece Responses API konuşan Codex CLI ve sadece Gemini API konuşan Gemini CLI şimdilik desteklenmiyor. Lisans Apache 2.0.
Üç katman
- Sadece isteğe bakan kontroller. Ajanın hiç tanımlamadığı bir aracı çağırmak engelleniyor. Ağa çıkan bir komutta, konuşmanın hiçbir yerinde geçmeyen bir adres varsa o da engelleniyor. Modelin kendi önceki cevapları “kaynak” sayılmıyor. GitHub, PyPI, npm, Hugging Face gibi adresler hazır izin listesinde.
- atif-scan kontrolleri. Konuşma, Harbor projesinin ATIF (Agent Trajectory Interchange Format) adlı JSON biçimine çevriliyor. Bu, bir ajanın mesajlarını ve araç çağrılarını baştan sona kaydeden ortak bir biçim. Hugging Face’in atif-scan aracı bu kayıtlar üzerinde kural tabanlı dedektörler çalıştırıyor: başka bir sürecin ortam değişkenlerini okumak (
/proc/1/environ), vekil sunucuyu atlayancurl --noproxy, Kubernetes token’ına uzanmak gibi. Yüksek önemdeki bulgular doğrudan engelleniyor. - İsteğe bağlı hakem model. Şüpheli ama kesin olmayan çağrılar bir hakem modele gidiyor, o da “izin ver” ya da “engelle” diyor. Hakem ajanın düşüncelerini ve araç çıktılarını görmüyor, çünkü ikna edilmek istenen yer tam orası. Bir engeli kaldıramıyor, sadece ekleyebiliyor.
Proje, akış (streaming) sırasında ek gecikme olmadığını ve atif-scan’in M serisi bir Mac’te çağrı başına 10-20 ms tuttuğunu söylüyor. Engellenen ve şüpheli çağrılar ~/.safeagents/calls.jsonl dosyasına yazılıyor, terminalde canlı bir özet de görebiliyorsun.
Hazır ayarlar saldırıyı kaçırdı
Videonun en öğretici kısmı burası: Better Stack’e göre safeagents’ın varsayılan ayarları aynı saldırıyı durdurmadı. Saldırı ancak 30 satırlık kendi kuralını eklentiyle (--plugin) ekleyince engellendi.
Kod bunun neden olabileceğini gösteriyor. Adres kontrolünde sadece modelin kendi cevapları çıkarılıyor. Ajanın okuduğu dosyalar konuşmanın parçası olarak kalıyor. Yani saldırganın adresi README’de yazıyorsa, o adres “konuşmada geçiyor” sayılabilir. Ayrıca kötü niyetli kod bir test dosyasının içindeyse, safeagents’ın gördüğü çağrı sadece npm test olur. Proxy komutu görüyor, komutun içinde çalışan kodu görmüyor.
Bu yüzden safeagents’ı tek başına bir kale gibi değil, bir katman gibi düşünmek gerek. Proje de --log-only ile, yani önce sadece izleyerek başlamanı öneriyor. Ajanı bilgisayarından tamamen ayırmak için devvm gibi bir sanal makineyle birlikte kullanmak daha sağlam bir kurgu.
Bir de kayıt temizliği
safeagents’ın ikinci işi, ajan kayıtlarını paylaşmadan önce temizlemek. safeagents scrub bir kayıttaki API anahtarlarını, token’ları, e-postaları, ev dizinini ve senin gizli ortam değişkenlerinin değerlerini bulup maskeliyor. safeagents publish aynı işi yapıp sadece temizlenmiş kopyaları bir Hugging Face veri setine yüklüyor. Belgeler bunun “elden geldiğince” bir temizlik olduğunu, raporu okumadan yayımlamaman gerektiğini yazıyor.
Düşün
- Ajanına son verdiğin “kur ve çalıştır” görevinde, ajanın okuduğu dosyaların hepsini sen de okumuş muydun?
- Bir komutu kontrol etmek ile o komutun çalıştırdığı kodu kontrol etmek arasındaki fark, senin kurgunda nerede açık bırakıyor?
Videoyu izle
Kaynaklar (8, İngilizce)
- Better Stack: Hugging Face Open-Sourced A Tool for Monitoring AI Agents (safeagents) (video) (yeni sekmede açılır)
- GitHub: huggingface/safeagents (yeni sekmede açılır)
- safeagents docs: Using safeagents with coding agents (yeni sekmede açılır)
- safeagents docs: Commands and options (yeni sekmede açılır)
- safeagents source: policy.py (request-only checks) (yeni sekmede açılır)
- GitHub: huggingface/atif-scan (yeni sekmede açılır)
- Harbor: Agent Trajectory Interchange Format (ATIF) (yeni sekmede açılır)
- Hugging Face: safeagents-judge-bench (yeni sekmede açılır)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.