Bu neden önemli?
Bu yılki yapay zekâ destekli keşiflerin çoğu aynı döngüden çıktı: öner, puanla, tekrar dene. Döngüdeki küçük bir karar, 'sırada neyi deneyeyim?', hem maliyeti hem sonucu belirliyor. 'Kendini geliştiren yapay zekâ' başlıklarını doğru okumak için de iyi bir örnek.
Önce döngüyü anlayalım
Yapay zekâ ile yapılan keşiflerin çoğu, DeepMind’ın geçen yıl AlphaEvolve ile popüler hâle getirdiği basit bir döngüye dayanıyor:
- Kodlama ajanına bir problem ve bir puanlama fonksiyonu ver. Örneğin “bu algoritma ne kadar hızlı?”
- Ajan bir çözüm önerir.
- Çözüm çalıştırılır ve puanlanır.
- Ajan sonucu görür ve yeniden dener. Bu, binlerce kez tekrarlanır.
Bu döngünün az konuşulan ama çok önemli bir parçası var: keşif politikası (exploration policy). Her adımda bir karar verilmesi gerekiyor. İyi puan alan bir denemenin üzerine mi inşa edeyim, yoksa tamamen farklı bir şey mi deneyeyim? Bir deneme çöktüyse, fikir mi kötü, yoksa sadece uygulama mı hatalı?
Bu kararlar şimdiye kadar genelde döngüyü kuran kişi tarafından elle yazılıyordu. Kötü bir politika, binlerce pahalı model çağrısını boşa harcamak demek.
Dream-RSI’ın fikri: Geçmişi simülatöre çevir
Eylül ortasında yayınlanan makalenin fikri şu: Ajanın her denemesini (yazdığı kod, aldığı puan, çöküp çökmediği) bir keşif ağacı olarak sakla. Bu ağaç zaten bir simülatör gibi kullanılabilir.
Yeni bir politikayı denemek istediğinde modeli tekrar çağırmana gerek yok. Politikayı eski kayıtlar üzerinde yürütürsün: “Bu politika olsaydı, hangi dalları hangi sırayla açardı ve ne kadar sürede iyi sonuca ulaşırdı?” Bunun maliyeti neredeyse sıfır.
Makale bu aşamaya rüya görme (dreaming) diyor. Süreç kısaca şöyle:
- Keşif: Mevcut politikayla gerçek denemeler yapılır ve kaydedilir.
- Simülatör: Kayıtlar tekrar oynatılabilir bir ortama dönüşür.
- Rüya: Ajan binlerce alternatif politika yazar, simülatörde dener, en verimlisini seçer. Bir sonraki gerçek keşif bu politikayla yapılır ve döngü sürer.
Sonuçlar
Araştırmacılar yöntemi algoritma tasarımı, matematiksel optimizasyon ve GPU kodu yazma görevlerinde denedi. Ajan olarak Gemini modelleri kullanıldı.
- Karşılaştırdıkları mevcut bir keşif sistemine göre, 162 kata kadar daha az ajan çağrısı gerektiği bildiriliyor.
- Bir Lasso çözücüsü (istatistikte sık kullanılan bir regresyon yöntemi) görevinde, sabit politika 550 model çağrısı harcarken Dream-RSI 317 çağrı harcadı ve üstelik daha hızlı çalışan bir çözüm buldu.
- Bazı GPU görevlerinde benzer sonuca yaklaşık 1,8–2,4 kat daha az denemeyle varıldı.
Bu gerçekten “kendini geliştiren yapay zekâ” mı?
İsimdeki RSI, “recursive self-improvement”, yani kendini tekrar tekrar geliştiren yapay zekâ anlamına geliyor. Klasik fikir şu: Yapay zekâ kendini geliştirdikçe, kendini geliştirmekte de daha iyi olur.
Dream-RSI’da ise modelin ağırlıkları hiç değişmiyor. Gelişen şey, modelin etrafındaki arama stratejisi. Yani model daha zeki olmuyor, aynı çözümlere daha az denemeyle ulaşıyor. Fireship’in de vurguladığı gibi, bunu “önbellekli akıllı bir arama algoritması” olarak görmek de mümkün.
Bu küçük bir fark değil. Ama pratik değeri de küçük değil: Bu yılki büyük matematik ve algoritma keşiflerinin çoğu, sabit bir modelin etrafına kurulan bu tür döngülerden çıktı. Döngüyü ucuzlatmak, daha fazla problemin denenebilmesi demek.
Düşün
- Sen bir problemi çözerken eski denemelerini ne kadar kayıt altına alıyorsun?
- “Kendini geliştiren yapay zekâ” başlığı gördüğünde, neyin değiştiğini (model mi, etrafındaki sistem mi) nasıl anlarsın?