Sorun: Aynı hatanın parasını her gün ödemek
Bir kodlama ajanı her oturuma neredeyse sıfırdan başlıyor. Projende testlerin özel bir komutla çalıştığını, derlemeden önce bir adımın şart olduğunu dün öğrenmişti ama bugün yine bilmiyor. Deniyor, hata alıyor, düzeltiyor. Her deneme token, her token para. Üstüne, ajanın bağlamına eklenen araç tanımları (MCP sunucuları, dosya araçları) kullanılsın ya da kullanılmasın her istekte modele gidiyor.
Microsoft Research ve UC Berkeley’den Aaron J. Li, Ion Stoica, Jianfeng Gao ve arkadaşlarının 19 Ekim’de yayımladığı makale buradan yola çıkıyor: Maliyetin büyük kısmı proje ortamına bağlı ve aynı projede tekrar ediyor. Çözüm olarak da ajanın kendisine dokunmayan bir eklenti öneriyor.
Kara kutu yaklaşımı
TokenEconomizer ajanın modelini ya da kodunu değiştirmiyor. Onu bir kara kutu gibi dışarıdan izliyor: oturum geçmişine bakıyor, ajanın kendi eklenti ve hook mekanizmalarıyla araya giriyor. Bu sayede aynı eklenti Claude Code, OpenAI Codex, GitHub Copilot CLI ve Pi’de çalışıyor. opencode ve Cursor Agent gibi birkaç ajan için deneysel destek var. Ayrı bir API anahtarı istemiyor; Python 3.10 ve ajanın eklenti komutları yeterli. Lisans Apache 2.0.
Üç teknik
- Mikro beceriler (micro-skills): Depoya özgü kısa notlar. Örneğin “bu projede testler şu komutla çalışır”. Eklenti, tekrar eden hatalardan ve her üç oturumda bir son oturumları okuyan bir modelden aday notlar çıkarıyor. Bir not, üç oturum onu doğrulayınca yeni oturumların başına ekleniyor; sonraki oturumlar çelişirse siliniyor. Ek model çağrısı gerektirdiği için varsayılan olarak kapalı.
- Araç budama (tool pruning): Hiç kullanılmayan araçlar bağlamdan çıkarılıyor. Kural basit: En az iki oturuma yayılan 10 istekte ya da 5 oturumda hiç çağrılmayan araç, ajanın kendi ayarları üzerinden kapatılıyor. Tek komutla geri alınabiliyor.
- Döngü yakalama (loop guard): Bir hakem model, ajanın bir turda aynı hatayı tekrarlayıp tekrarlamadığına bakıyor. Yeterince eminse ajana kısa bir “yön değiştir” notu gönderiyor. Turu kendisi asla durdurmuyor; takılma sürerse sana nasıl araya gireceğini söylüyor.
Context Mode ağ geçidi yazımızda araç çıktılarını modele gitmeden küçülten başka bir yaklaşımı anlatmıştık. TokenEconomizer çıktıya değil, tekrar eden davranışa odaklanıyor.
Sonuçlar
Makale altı depodan 277 SWE-Bench görevi kullanıyor. Beş ajan ve model eşleşmesinde ortalama maliyet, eklentinin kendi model çağrıları dahil, %18,4 ile %30,9 arasında düştü. Görev başarısı (Pass@1) dört eşleşmede biraz arttı, birinde (Claude Code ve Opus 4.8) 1 puan düştü. Web-Bench’te tasarruf %16-21, iki güvenlik denetimi setinde %6-20.
Bence en öğretici bulgu şu: Herkese aynı uygulanan sabit tasarruf araçları her yerde işe yaramıyor. Makaleye göre RTK 30 depo-ajan eşleşmesinin 12’sinde, RepoMap 15’inde maliyeti artırdı. Yani tasarruf, tarifin kendisinden değil, projeye göre ayarlanmasından geliyor.
Better Stack eklentiyi Claude Code’a kurup gerçek bir depoda denedi. Tek bir deneme, makaledeki sayıların yerine geçmez. Kendi rakamlarını görmek için eklentinin raporlarına bakmak en doğrusu.
Sınırları
- Ajan desteği belirli sürümlerde test edilmiş; daha yeni sürümler denenmemiş. Codex’in 0.141.0’dan eski sürümleri eklenti hook’larını hiç çalıştırmıyor.
- Araç budama Pi’de ve deneysel ajanların çoğunda yok.
- Arka planda (headless) çalışan ajanda, takılı bir tur ajanın kendi limitine kadar sürebilir.
- Sonuçlar yazarların kendi ölçümleri.
Düşün
- Bir ajanın her oturumda yeniden öğrendiği şeyleri, proje kökündeki bir talimat dosyasına (ör.
CLAUDE.md,AGENTS.md) elle yazmak ile otomatik öğrenilmiş notlar arasında ne fark var? - Kullanılmayan araçları bağlamdan çıkarmak neden hem maliyeti hem de ajanın kararlarını etkileyebilir?
Videoyu izle
Kaynaklar (3, İngilizce)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.