Sorun: Model sadece bağlamındakini bilir
Bir dil modeli, eğitimi bittikten sonra yeni bir şey öğrenmez. Seninle ilgili bildiği her şey o anki bağlam penceresinde yazanlardan ibaret. Uzun bir sohbet geçmişini hatırlatmanın iki bilinen yolu var:
- Her şeyi bağlama koymak: Pahalı ve yavaş. Üstelik önemli bilgi yüzlerce sohbetin arasında kayboluyor.
- RAG: Soruya en çok benzeyen birkaç parçayı bulup modele vermek. RAG yazısında nasıl kurulduğunu anlatmıştık. Zayıf yanı, soruya kelime olarak benzemeyen ama aslında ilgili olan bilgiyi kaçırması.
Memorilla’nın proje sayfasındaki örnek bunu iyi anlatıyor: “Gün boyu enerjik kalmak için ne yemeliyim?” sorusunun doğru cevabı, aylar önce başka bir sohbette geçen demir eksikliği teşhisine bağlı olabilir. Benzerlik araması bu bağı kurmakta zorlanıyor.
Memorilla nasıl çalışıyor?
Stanford’dan Jure Leskovec’in ekibi ve birkaç kurumdan araştırmacılar Ekim’de makaleyi yayımladı. Sistem hatırlamayı ve geri çağırmayı ayırıyor:
- Her belge (bir sohbet, bir kitap bölümü) donmuş bir kodlayıcıyla bir kez vektöre çevrilip saklanıyor. Yeni belge eklemek, RAG’deki gibi tek bir kodlama maliyeti.
- Soru gelince eğitilmiş bir bellek modülü, soruyu ve bütün belge vektörlerini okuyor. Bunlardan 16 tane bellek tokenı üretiyor.
- Bu tokenlar, sorunun yanında doğrudan modelin girdi katmanına veriliyor. Model, burada Qwen3-8B, hiç değiştirilmiyor. Sadece bellek modülü eğitiliyor.
Önemli fark şu: Belge sayısı ne olursa olsun model her zaman aynı 16 tokenı görüyor.
Makaledeki sonuçlar
Kişiselleştirme, bilgi doğrulama ve uzun belge soruları içeren sekiz testte:
- En yüksek ortalama puan ve sekiz testin beşinde birincilik.
- FactKG’de %84,33 doğruluk. Bütün belgeleri bağlama vermek %80,43’te kalıyor ve 108 kat daha fazla token harcıyor.
- PersonaMem-v2’de %44,6. En iyi rakip %30,9, bütün bağlam ise %27,9.
- NarrativeQA’da kitap ve senaryolar 4.000 kattan fazla sıkıştırılıyor.
- 512 belgede (yaklaşık 128 bin token) cevap süresi 0,74 saniye, bütün bağlamla 19,9 saniye. Bu süreye belgelerin kodlanması dahil değil.
Yazarlar sınırları da açıkça yazıyor. Cevap birebir geçen bir isim olduğunda RAG daha iyi. Kısa kaynaklarda (PubMedQA) metni doğrudan okumak hâlâ üstün: Memorilla %59, RAG %67. Sabit token sayısı ince ayrıntıları kaybedebiliyor.
Videodaki deney
Videodaki deneyde sunucu bir H100 kiralayıp iddiaları kendisi test etti, bütün kodu ve sonuçları GitHub’a koydu:
- README’deki örnek neredeyse kelimesi kelimesine tekrarlandı.
- Hız: 512 belgede bütün bağlam 19,3 saniye sürerken Memorilla’nın cevap süresi 0,12 saniyede sabit kaldı. Belgeleri kodlama süresi eklenince toplam 3,2 saniye. Yani 27 kat değil, yaklaşık 6 kat hızlı.
- “Gömülü ipucu” testi: Uydurma bir kullanıcının 150 sohbetine üç ipucu ve bir kontrol sorusu gizlendi. Memorilla 4 sorudan hiçbirini bilemedi, üstelik geçmişte olmayan şeyler uydurdu (örneğin kullanıcının kabuklu deniz ürünlerine alerjisi olduğunu söyledi).
- Baskerville’lerin Köpeği romanı üzerine 8 soruda Memorilla 1, RAG 4, bütün bağlam 5 doğru yaptı.
Sunucu örneklemin küçük olduğunu (her testte 4 ile 10 soru) kendisi vurguluyor. Ama bir ipucu var: README’deki başarılı örnek, modelin eğitildiği veri setinin test bölümünden. Sunucunun bulgularına göre farklı tarzda yazılmış verilerde model, o veri setindeki tipik kişilik özelliklerini uydurmaya kayıyor.
Ne anlama geliyor?
Memorilla, RAG’in yerine geçen bir sistem değil. Proje sayfası da öyle sunuyor: İki yöntem farklı soruları çözüyor ve ikisini birleştirmek bir sonraki adım. Bağlantı kurmayı gerektiren sorularda güçlü, birebir ayrıntıda zayıf. Çalıştırmak için de 80 GB’lık bir GPU gerekiyor.
Düşün
- Bir asistanın seni “hatırlarken” ayrıntı uydurması mı, hiç hatırlamaması mı daha kötü?
- Kendi uygulamanda kullanıcı geçmişini modele nasıl veriyorsun? Hangi sorular bu yöntemin gözünden kaçıyor?
Videoyu izle
Kaynaklar (6, İngilizce)
- Better Stack: Did Stanford Just Solve AI Memory? (Memorilla) (video) (yeni sekmede açılır)
- arXiv: Memorilla: Latent Semantic Memory for LLMs (2610.21375) (yeni sekmede açılır)
- Memorilla proje sayfası (yeni sekmede açılır)
- GitHub: snap-stanford/memorilla (yeni sekmede açılır)
- Hugging Face: memorilla/Memorilla-Qwen3-8B (yeni sekmede açılır)
- GitHub: andrisgauracs/memorilla-demos (videodaki deneylerin kodu ve sonuçları) (yeni sekmede açılır)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.