Eğit, yayınla, dondur
Bir dil modeli bugün şöyle yaşıyor: Aylarca eğitiliyor, sonra ağırlıkları donduruluyor ve yayınlanıyor. Bundan sonra öğrendiği her şey bağlam penceresinde duruyor. Pencere dolunca ya da sohbet bitince gidiyor. İnsanlarda buna benzer bir ayrım var: Kısa süreli bellek ve uzun süreli bellek. Aradaki köprünün önemli bir kısmının da uykuda kurulduğu düşünülüyor.
bycloud’un videosu bu benzetmeyi dört makale üzerinden takip ediyor. Biz de her birini kendi kaynağından kontrol ettik.
Sorun: Model zamanla öğrenmeyi unutuyor
İlk makale, bir modeli sürekli yeni veriyle eğitmeye devam etsek ne olur sorusuna bakıyor. Buna plastisite kaybı deniyor: Uzun süre eğitilen bir ağ, yeni bilgiyi giderek daha zor öğreniyor.
Araştırmacılar GPT tarzı modelleri (5 milyondan 314 milyon parametreye kadar) dilleri sırayla göstererek eğitti. Sonra modellerin, eğitimde hiç görmedikleri Vietnamcayı ne kadar çabuk öğrenebildiğini ölçtüler. Bütün boyutlarda plastisite kaybı görüldü. Kaybın başladığı nokta model büyüdükçe ileri kayıyor, ama modelden daha yavaş büyüyor. Yani daha büyük model sorunu erteliyor, çözmüyor. Dil değişimi olmadan, sabit karışık veriyle eğitimde bile kayıp ortaya çıktı.
Uyanıkken öğrenmek: In-Place TTT
İkinci makale (ICLR 2026’da sözlü sunum) test-time training, yani modelin cevap verirken bazı ağırlıklarını güncellemesi fikrini mevcut modellere uyguluyor. Yazarlar, her MLP bloğundaki son matrisi “hızlı ağırlık” olarak kullanıyor ve onu metni parça parça okurken bir sonraki token tahminine uygun bir hedefle güncelliyor. Modeli baştan eğitmeye gerek kalmıyor. Doğal bağlamı 32 bin token olan Qwen3-4B-Base, buna göre 128 bin tokena kadar olan görevlerde daha iyi sonuç veriyor.
Uyurken öğrenmek
Üçüncü makale (Carnegie Mellon ve Maryland) adını doğrudan soruyor: Dil modellerinin uykuya ihtiyacı var mı? Fikir şu: Model belli aralıklarla “uyuyor”. Bu sırada son okuduğu bağlamın üzerinden N kez geçiyor ve bunu kalıcı hızlı ağırlıklara işliyor. Sonra o bağlamı attention önbelleğinden siliyor. Ekstra hesaplama uykuya kaydığı için uyanıkken cevap süresi değişmiyor.
Deneyler sentetik görevlerde ve GSM-Infinite adlı matematik testinde yapılmış. Problemler bağlam penceresine sığmayacak kadar uzun. Düz transformer ve standart hibrit modeller burada başarısız oluyor. Uyku süresi (N) arttıkça başarı artıyor, en çok da daha fazla adım gerektiren zor sorularda. Yazarların kendi belirttiği bedel: Eğitim daha yavaş ve kararsız. Deneyler de 2 milyar parametreye kadar küçük modellerle.
Uyku ve rüya
Dördüncü makale (Google ve Cornell) uykuyu iki aşamaya bölüyor:
- Bellek pekiştirme: Hızlı güncellenen katmanlardaki taze bilgi, yeni açılan parametrelere ve daha yavaş değişen, daha kalıcı katmanlara damıtılıyor. Amaç, yeni bilgiyi eklerken eskiyi ezmemek.
- Rüya görme: Model, pekiştirmeli öğrenmeyle kendi sentetik alıştırma verisini üretiyor ve yeni öğrendiklerini bu “rüyalar” üzerinde tekrar ediyor.
Yazarlar sürekli öğrenme, uzun bağlam, bilgi ekleme ve az örnekle akıl yürütme testlerinde tutarlı kazanç bildiriyor. Deneylerde kullanılan modeller arasında 1 ile 8 milyar parametrelik Llama’lar var, yani bunlar da sınır modelleri değil.
Resmin tamamı
Dört çalışmanın ortak fikri, bağlam penceresini sonsuza kadar büyütmek yerine bilgiyi bir yerde kalıcı hale getirmek. Bunun yolu da hesaplamayı cevap anından boş zamana kaydırmak. Ağırlıklara hiç dokunmadan aynı soruna saldıran bir örnek, dışarıdan eklenen bir bellek modülü: Memorilla yazısında anlattık. Unutmadan yeni şey öğretmenin bir başka yolu da sadece ağırlık silerek ince ayar. Daha oyuncak ölçekte bir deneme için mini-AGI yazısına bakabilirsin.
Şunu da akılda tut: “Uyku” ve “rüya” burada benzetme. Bu makaleler beyni taklit ettiklerini değil, beyinden ilham aldıklarını söylüyor. Sonuçlar da şimdilik küçük modellerde ve kontrollü testlerde.
Düşün
- Bir asistanın gece boyunca seninle yaptığı konuşmalardan öğrenip sabah farklı davranması sana yararlı mı, yoksa ürkütücü mü gelirdi?
- Model kendi ürettiği “rüyalarla” eğitilirse, yanlış bir bilgiyi de pekiştirmesini ne engeller?
Videoyu izle
Kaynaklar (5, İngilizce)
- bycloud: The Next Scaling Axis of LLM Is… Sleeping? (video) (yeni sekmede açılır)
- arXiv: Can Scale Save Us From Plasticity Loss in Large Language Models? (2606.24752) (yeni sekmede açılır)
- arXiv: In-Place Test-Time Training (2604.06169) (yeni sekmede açılır)
- arXiv: Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference (2605.26099) (yeni sekmede açılır)
- arXiv: Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories (2606.03979) (yeni sekmede açılır)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.