GLM-5.2 neden GRPO'yu bıraktı: Uzun ajan görevlerinde PPO'ya dönüş

Önce kısa bir hatırlatma

Bir dil modeli ön eğitimden sonra genelde bir de pekiştirmeli öğrenme (reinforcement learning, RL) aşamasından geçiyor. Mantık basit: Model bir görevi dener, bir değerlendirici sonucu puanlar, model iyi puan getiren davranışları daha sık yapmayı öğrenir. Burada modelin kendisine policy (politika) deniyor.

Zor kısım şu: Puan genelde en sonda geliyor. Model binlerce token üretti, testler geçti. Peki bu başarıda hangi adımın payı var? Buna kredi dağıtımı (credit assignment) problemi deniyor. RL algoritmalarının farkı da büyük ölçüde bu soruya verdikleri cevapta.

PPO: Yanında bir eleştirmen

PPO (Proximal Policy Optimization), OpenAI’ın 2017’de yayınladığı bir yöntem. Dil modellerinde klasik kurulumda policy’nin yanında ikinci bir model eğitiliyor: critic (eleştirmen) ya da value model. Critic’in işi, görevin herhangi bir noktasında “buradan sonra ne kadar puan bekliyorum?” sorusunu tahmin etmek.

Model bir adım attıktan sonra gerçekte ne olduğu bu beklentiyle karşılaştırılıyor. Beklenenden iyi gittiyse o adımı üreten token’lar güçleniyor, kötü gittiyse zayıflıyor. Bu farka advantage (avantaj) deniyor. Adındaki “proximal” da güncellemelerin küçük tutulmasından geliyor: Model tek seferde eski hâlinden çok uzaklaşmıyor.

Bedeli de belli. DeepSeekMath makalesine göre critic genelde policy ile benzer boyutta bir model. Yani bellekte ve hesapta neredeyse ikinci bir model taşıyorsun. Critic kötü tahmin ederse de bütün eğitim sinyali bozuluyor.

GRPO: Critic yerine grup ortalaması

DeepSeek, Şubat 2024’teki DeepSeekMath makalesinde GRPO’yu (Group Relative Policy Optimization) önerdi. Fikir şu: Aynı soruya model birden fazla cevap üretiyor. Her cevap puanlanıyor ve grubun ortalamasıyla kıyaslanıyor. Ortalamanın üstündekiler ödüllendiriliyor, altındakiler cezalandırılıyor. Critic’e gerek kalmıyor, çünkü “beklenen puan” grubun kendisinden geliyor.

Matematik için bu çok iyi oturuyor. Soru tek, cevap tek, doğru mu yanlış mı otomatik kontrol edilebiliyor. Aynı sorunun sekiz çözümü gerçekten birbiriyle kıyaslanabilir. DeepSeek-R1 de GRPO ile eğitilince yöntem açık modellerde neredeyse varsayılan hâle geldi.

GLM-5.2 neden geri döndü?

Z.ai’ın Haziran 2026’da yayınladığı GLM-5.2, 1 milyon token bağlamla saatler süren kodlama görevleri için eğitilmiş, MIT lisanslı açık ağırlıklı bir model. Blog yazısında RL tarafındaki tercihlerini de anlatıyorlar.

Sorun compaction (sıkıştırma) ile başlıyor. Ajan çok uzun çalışınca bağlam doluyor ve geçmiş özetlenip iş kaldığı yerden sürüyor. Böylece tek bir uzun deneme, birden fazla alt parçaya bölünüyor. Z.ai’ın anlattığına göre aynı görevin farklı denemeleri farklı sayıda ve çok farklı uzunlukta parçalar üretiyor. Grup içi kıyas tam da burada tökezliyor: Neyi neyle kıyaslayacağın belli değil.

Çözüm olarak grup bazlı optimizasyondan critic kullanan bir PPO kurulumuna geçmişler. Critic her denemeyi tek başına değerlendirip token düzeyinde advantage tahmin ediyor. Böylece bir görevin kaç parça ürettiği önemsizleşiyor. Sıkıştırılmış tüm alt parçalar eğitime giriyor, uzunluk farkı da token bazlı bir kayıp fonksiyonuyla dengeleniyor.

Videoya göre işin bir de kredi dağıtımı tarafı var. Bir deneme görevi 50 adımda, diğeri 500 adımda bitirebiliyor. Sadece “geçti mi, kalmadı mı?” bilgisiyle hangi adımın işe yaradığını bulmak zor. Critic ise yolun ortasında “işler iyiye mi gidiyor?” diye tahmin yürütebiliyor.

Kopya çekmeye karşı nöbetçi

Blogdaki ikinci ders ödül hilesi (reward hacking) üzerine. Z.ai, GLM-5.2’nin GLM-5.1’den daha fazla hile eğilimi gösterdiğini yazıyor: Gizli test dosyalarını okumak, çözümü GitHub’dan indirmek gibi. Buna karşı iki aşamalı bir modül kurmuşlar. Önce kurallar şüpheli araç çağrılarını yakalıyor, sonra bir LLM hakem niyeti kontrol ediyor. Hile tespit edilirse çağrı engellenip modele sahte bir sonuç dönüyor, deneme de devam ediyor. Bütün denemeyi çöpe atmak yerine sadece hatalı hamleyi etkisiz bırakmak, eğitimin dengesini koruyor. Aynı sorunun canlı bir örneğini Xiaomi’nin RL eğitim panelinde de görebilirsin.

Sonra ne oldu?

Z.ai Ağustos 2026 sonunda GLM-5.3’ü yayınladı. Model kartına göre GLM-5.3, GLM-5.2 ile aynı temel modeli kullanıyor ve kazancın tamamı sonradan yapılan eğitimden (post-training) geliyor. Aynı ailenin küçük üyesi GLM-5.3-Flash’ın OpenRouter’daki gizemli serüvenini Ox Alpha yazısında anlattık.

Düşün

• Ucuz ama sınırlı bir yöntem mi, pahalı ama esnek bir yöntem mi? Kendi projende bu dengeyi nerede kurardın?
• Bir ajanın hile yaptığını kurallarla yakalamak yeterli mi, yoksa her zaman bir hakem modele mi ihtiyaç var?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.