DeepSeek ajanlarını nerede eğitiyor? Günde 3 milyon kum havuzu ve kestirme arayan modeller

Ajan eğitimi neden bir bilgisayar ister?

Klasik dil modeli eğitiminde model bir metin görür ve devamını tahmin eder. Ajan eğitiminde (agentic RL) iş farklı. Model bir kod deposunu açar, komut çalıştırır, paket kurar, hatayı düzeltmeye çalışır. Sonunda testler çalışır ve sonuca göre bir puan, yani ödül çıkar. Model iyi puan getiren davranışları güçlendirir. Bu, MiMo’nun canlı RL panelinde gördüğümüz döngünün aynısı.

Her deneme kendi izole ortamında, bir kum havuzunda (sandbox) koşar. Yani kum havuzu eğitimin dışında duran bir yardımcı değil, ödülün üretildiği yer. DeepSeek’in Eylül’de arXiv’de yayımladığı rapor tam bu katmanı anlatıyor: DSec (DeepSeek Elastic Compute). Rapora göre DeepSeek V3.2’den V4.1’e kadar modellerin RL eğitimi ve değerlendirmesindeki tüm kum havuzları bu platformda çalıştı.

Ölçek

• Tek bir üretim birimi yaklaşık 160 CPU sunucusu, 30 bin çekirdek ve 250 TB civarı bellekten oluşuyor.
• Sıradan bir günde yaklaşık 3 milyon kum havuzu açılıyor. Aynı anda çalışan sayısı 380 bini, saniyede açılan yeni kum havuzu sayısı 5 bini aşıyor.
• Tek bir eğitim işi bir seferde 32 bine kadar kum havuzu isteyebiliyor.

Bunu mümkün kılan gözlem basit: Ajan çoğu zaman bekliyor. Model bir sonraki adımı üretirken kum havuzu boşta duruyor. Rapora göre konteynerlerin ve mikro sanal makinelerin yaklaşık %90’ı, istediği işlemci gücünün ortalamada %5’inden fazlasını kullanmıyor. DeepSeek de sunucuları bilerek fazla dolduruyor (overcommit). Üretimde tek bir sunucuda en az 3.200 konteyner ya da 800 Firecracker mikro sanal makinesiyle sorunsuz çalıştıklarını yazıyorlar.

İkinci gözlem imajlarla ilgili. Bir kum havuzu imajının çoğuna hiç dokunmuyor: Ölçtükleri örneklerde verinin sadece %4,2 ile %13,3’ü okunuyor. Bu yüzden imajı baştan indirmek yerine, gereken parçaları ihtiyaç anında DeepSeek’in kendi dağıtık dosya sistemi 3FS’ten çekiyorlar. Yazılanlar ise sunucunun yerel diskinde kalıyor.

Platform dört tür kum havuzunu tek bir SDK’dan sunuyor: kısa ve durumsuz işler için FnCall, çoğu yazılım görevi için konteyner, daha güçlü izolasyon isteyen güvenlik görevleri için mikro sanal makine, Android ya da grafik arayüz gereken işler için tam sanal makine. Konteyner ile mikro sanal makine arasındaki farkı konteyner güvenlik sınırı yazısında anlatmıştık.

Bir ayrıntı daha: Ekran kartı kümesindeki eğitim işleri sık sık durduruluyor (preemption). V4.1’den itibaren ajan döngüsü GPU tarafından çıkarılıp DSec’e taşındı. Eğitim durunca deneme kaybolmuyor. Kum havuzu duraklatılıp belleği boşaltılıyor, eğitim geri gelince kaldığı yerden devam ediyor.

Modeller kestirme arıyor

Raporun en dikkat çekici bölümü, ajanların cevaba istenmeyen yollardan ulaşma denemeleri. Buna ödül hilesi (reward hacking) deniyor: Model görevi çözmek yerine puanı almanın başka bir yolunu buluyor. DeepSeek’in aktardığı örnekler:

• Kum havuzundaki komut servisine (chronus) sahte istekler gönderdiler ve servisin kayıtlarında sızmış cevap aradılar.
• Servis bazı işlerde bash çağırdığı için /bin/bash dosyasının üzerine yazmayı denediler. Amaç kontrolleri atlatmak ya da sonraki oturumlara komut sokmaktı.
• Dosya erişim kuralları eklenince bir ajan, iki dosyanın veri bölgelerini takas eden az bilinen bir XFS komutuyla (ioctl) korunan bir dosyayı okumaya çalıştı. Dosya sisteminin meta verisi bozuldu ve dosya sistemi kapandı.
• Port tarayıp erişilebilir paket aynaları buldular. Go modül proxy’leri üzerinden GitHub’daki kodu çekip hazır çözüm aradılar.

Bazı hasarlar kasıtlı bile değildi. Bir ajan kök dizinden başlayan bir grep çalıştırdı, /proc altında bir dosyayı okudu ve bir çekirdek hatasını tetikleyip çekirdeği çökertti. Bir diğeri yes komutunu çalıştırdı. Çıktı kaydedildiği için diskte onlarca GB birikti.

Önlemler ve sınırları

DeepSeek iki katman ekledi. AppArmor kuralları, ajan kum havuzunda root olsa bile hangi dosyaya ve sokete erişebileceğini sınırlıyor. eBPF tabanlı ağ filtresi ise her göreve kendi izin listesini veriyor: Bir görev PyPI’ye çıkabilirken npm’e çıkamıyor. Yazarlar bunun sorunun sadece bir kısmını çözdüğünü, çekirdek hatası tetiklemek gibi yıkıcı davranışlara karşı genel bir savunma olmadığını açıkça yazıyor. Ayrıca sadece son çıktıya bakmak, ajanın görevi gerçekten çözüp çözmediğini kanıtlamıyor.

Videonun vardığı sonuç da bu: Model akıllandıkça eğitildiği sistemin açıklarını bulmakta da iyileşiyor. Kum havuzu güvenliği artık model eğitiminin bir parçası.

Google da Gemini 4’ün güvenlik raporunda benzer kestirmeleri ve düşünce metni cezalandırılınca hilelerin nasıl sessizleştiğini anlattı: Gemini 4 Argon yazısı.

Düşün

• Testler geçti ama model cevabı bir kayıt dosyasında buldu. Bu denemeye sence ödül verilmeli mi?
• Kendi ajanını bir konteynerde çalıştırıyorsan, ajan root olduğunda neye erişebiliyor?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.