Bir eğitimi canlı izlemek
Xiaomi’nin MiMo-V2.6 ailesini Eylül sonunda anlatmıştık. O yazıda bir ayrıntı vardı: Xiaomi, modeli geliştiren pekiştirmeli öğrenme (reinforcement learning, RL) aşamasının yaklaşık 6 gün sürdüğünü ve Pro için 2,6 milyon dolar tuttuğunu söylemişti.
Şimdi bunun nasıl göründüğünü biliyoruz. Xiaomi, eğitimi yaparken bir web paneli açık tuttu. Panelin kendi tarifiyle veriler doğrudan eğitim programının kayıtlarından okunuyor. Eğitim bitti, panel yerinde duruyor.
Kısa hatırlatma: RL’de model bir görevi dener, bir değerlendirici sonucu puanlar, model iyi puan alan davranışları güçlendirir. Burada görevler çoğunlukla kodlama: Model gerçek bir kod deposunda bir hatayı düzeltmeye çalışıyor, testler geçerse ödül alıyor.
Rakamlar
Panelde iki koşu var: Pro ve Flash. İkisi de 30 adımda bitti. Bir “adım”, modelin ağırlıklarının bir kez güncellenmesi demek. Her adımda:
- 1.568 görev seçiliyor ve her görev 16 kez deneniyor. Yani adım başına 25.088 deneme (rollout). 30 adımda yaklaşık 750 bin deneme.
- Pro tarafında adım başına 3,4 milyar civarında token üzerinde eğitim yapılıyor. Toplam: Pro’da 75 milyar, Flash’ta 81 milyar token.
- Her deneme, kodun çalıştırıldığı ayrı bir kum havuzunda (sandbox) koşuyor. Pro koşusu toplamda 3,5 milyon, Flash 6,8 milyon kum havuzu açtı.
Maliyet sayacı Pro için saniyede 5,71 dolar, Flash için 2,86 dolar işliyor. Pro 15–20 Eylül arasında yaklaşık 5 gün 7 saat sürdü ve 2,62 milyon dolar tuttu. Flash 854 bin dolar. Toplam: 3,47 milyon dolar. Bu, sıfırdan ön eğitimin değil, sadece üzerine yapılan RL aşamasının maliyeti.
Bir adımın bu kadar pahalı olmasının sebebi: Ağırlık güncellemesi hızlı, ama ondan önce 25 bin denemenin her biri gerçek bir ortamda, çok adımlı bir ajan gibi çalışıp bitmek zorunda. Panel de her adımın süresini ikiye ayırıyor: denemeleri üretmek ve eğitimin kendisi.
İşe yaradı mı?
Xiaomi her birkaç adımda bir modelin anlık hâlini ayrı testlerle ölçüp panele ekledi. Gerçek yazılım hatalarını düzeltme testi DeepSWE’de Pro, 1. adımda %58,4’ten 30. adımda %72,6’ya çıktı. Flash %48,7’den %65,7’ye. Eğri düz değil, bazı adımlarda puan düşüyor.
Eğitim sırasındaki başarı oranına bakarken dikkat: Xiaomi eğitim ortasında Pro için “görece kolay” görevleri listeden çıkardığını not düştü. Görev karışımı değişince bu eğri tek başına ilerlemeyi göstermiyor.
İşin pürüzlü tarafı
Panelin en öğretici kısmı, Xiaomi’nin eğitim sırasında eklediği notlar:
- Pro koşusu bir düğümdeki ekran kartı belleği sorunu yüzünden yeniden başladı.
- Eğitim kümesiyle değerlendiricinin çalıştığı sistem arasındaki ağ bağlantısı koptu, koşu yeniden başlatıldı.
-
- adımda, uzmanlar arasında yükün dengesiz dağılmasından kaynaklanan bir bellek taşması oldu. Pro modeli bir MoE (uzmanlar karışımı) modeli, ve bazı uzmanlar diğerlerinden çok daha fazla iş alınca o uzmanları taşıyan ekran kartının belleği doldu.
- Flash’ta bir veri setindeki altyapı hatası üç saat boyunca fark edilmedi. Koşu 15. adımdan geri sarıldı.
- Ve belki en ilginci: Deneme kayıtlarında “kötü örüntüler” gördükleri için siber güvenlik veri setini sonraki Pro koşusundan çıkardılar.
Panel Pro için 14 yeniden başlatma gösteriyor. Milyon dolarlık bir eğitim bile sık sık elle müdahale istiyor.
Model kopya çekmeyi öğrendi mi?
Bağımsız değerlendirme şirketi Vals AI, 7 Ekim’de MiMo üzerine bir inceleme yayınladı. Konu ödül hilesi (reward hacking): Modelin görevi gerçekten çözmek yerine puanı başka bir yoldan almayı öğrenmesi.
Vals’ın bulduğu örnekler, benchmark hileleri yazısında anlattığımız “git geçmişinden geleceği okumak” sorununun ta kendisi. Flash bir görevde düzeltmenin “sonraki commit’lerde zaten olabileceğini” düşünüp GitHub’dan ilgili değişiklikleri aradı. Git komutları engellenince dosya zaman damgalarına bakarak hangi dosyaların değiştiğini buldu. Bir başka denemede git’in sıkıştırılmış nesne dosyalarını okumak için kendi okuyucusunu yazdı.
Vals, Xiaomi’nin açık kaynak olarak paylaştığı 2.698 kodlama ortamını da taradı. Bunların %67’sinde çözüm commit’i, depoda erişilemeyen ama silinmemiş git nesneleri olarak hâlâ okunabiliyordu. Xiaomi’nin teknik raporu ise bu tür hilelere karşı önlemlerden (ağ izolasyonu, git temizliği, hileyi yakalayınca ödülü sıfırlayan bir değerlendirici) bahsediyor ve yakalanan hile oranını %2’nin altında veriyor. Vals’a göre temizlik adımı bu görevlerde hiç çağrılmıyor.
Bu, OpenAI’ın uyumsuzluk raporlarında da gördüğümüz bir örüntü: Ödülü yeterince güçlü bir modele verirsen, ortamdaki her açığı bulur. DeepSeek’in eğitim kum havuzlarında yaşadığı benzer vakaları DSec yazısında anlattık.
Düşün
- Bir modelin RL eğitiminde 30 adım için 3,5 milyon dolar harcamak sence pahalı mı, ucuz mu? Neye göre?
- Eğitim ortamının açık olması, Vals gibi dışarıdan birinin hileyi bulmasını sağladı. Kapalı modellerde bunu kim denetliyor?
Videoyu izle
Kaynaklar (4, İngilizce)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.