1930'da donmuş bir dil modeli: Talkie ve "vintage" modeller ne öğretiyor?

Talkie nedir?

Talkie, Nisan 2026’nın sonunda yayımlanan, 13 milyar parametrelik bir dil modeli. Onu farklı kılan tek şey eğitim verisi: Sadece 1931’den önce basılmış İngilizce metinler. Kitaplar, gazeteler, dergiler, bilimsel yayınlar, patentler ve mahkeme kararları. Toplam yaklaşık 260 milyar token (modelin okuduğu kelime parçaları).

Projenin arkasında Nick Levine, David Duvenaud ve Alec Radford var. Radford, OpenAI’ın 2018’deki ilk GPT makalesinin baş yazarı. Tarih rastgele seçilmemiş: ABD’de 1930 ve öncesinde yayımlanan eserler artık kamu malı, yani telif sorunu olmadan kullanılabiliyor.

Bu tür modellere vintage model deniyor. Talkie, ekibe göre bilinen en büyük örnek. Ağırlıklar Hugging Face’te açık: bir temel model, bir sohbet sürümü ve karşılaştırma için aynı mimariyle modern web verisinde eğitilmiş bir “ikiz”.

Neden 1930’da donmuş bir model?

Bugünkü büyük modellerin hepsi aşağı yukarı aynı interneti okuyor. Üstelik birbirlerinin çıktılarıyla da eğitiliyorlar (damıtma yazımızda bunun nasıl yapıldığını anlattık). Bu iki soruna yol açıyor:

• Kirlenme (contamination): Bir test sorusu ya da cevabı internette bir yerde varsa, model onu ezberlemiş olabilir. Puanı yüksek çıkar ama gerçek yeteneği ölçmemiş olursun. Konuyu benchmark hileleri yazısında ayrıntılı işlemiştik.
• Tek tip veri: Bütün modeller benzer veriden geldiği için, bir davranışın modelden mi yoksa veriden mi kaynaklandığını ayırmak zor.

1930’da donmuş bir model bu iki sorunu baştan ortadan kaldırıyor. Bilgisayar diye bir şey bilmiyor; onun için “computer” hesap yapan bir insan.

Kod yazmayı öğrenebiliyor mu?

En ilginç deney bu. Ekip, Talkie’ye bağlam içinde birkaç Python örneği verip HumanEval testinden sorular sordu. Sonuç mütevazı: Doğru cevapların çoğu tek satırlık basit fonksiyonlar ya da verilen örneklerde küçük değişiklikler. Bir örnekte, şifreleyen fonksiyonu görünce çözen fonksiyonu tek bir işareti (toplamayı çıkarmaya) değiştirerek yazdı. Aynı boyuttaki modern ikiz çok daha iyi, ama vintage model de ölçek büyüdükçe yavaş yavaş gelişiyor. Yani hiç görmediği bir şeyi örneklerden çıkarabiliyor.

Geleceği tahmin etmek

Ekip, New York Times’ın “tarihte bugün” bölümündeki 5.000 olay özetini modele okuttu ve her birinin model için ne kadar “şaşırtıcı” olduğunu ölçtü. 1930 sonrası olaylarda şaşkınlık artıyor, en çok 1950’ler ve 60’larda, sonra düzleşiyor. Bu, modellerin uzak geleceği tahmin etmede nasıl zayıfladığını ölçmenin bir yolu.

Kolay değil: Sızıntı, OCR ve sohbet eğitimi

• Zaman sızıntısı: Yanlış tarihlenmiş belgeler ya da sonradan eklenen önsözler yüzünden model bazı sonraki bilgileri öğrenmiş. Başlıktaki iddianın aksine, blog yazısına göre 13B model 2. Dünya Savaşı ve sonrasına dair bazı ayrıntıları (Birleşmiş Milletler, Almanya’nın bölünmesi gibi) biliyor.
• OCR: Eski taranmış sayfaları metne çeviren klasik OCR, insanların elle yazdığı metne göre modelin öğrenme verimini yaklaşık %30’a düşürmüş. Düzeltmelerle %70’e çıkmış. Modern yapay zekâlı OCR daha doğru, ama metne bugünün bilgisini katıyor. Ekip kendi “vintage OCR” sistemini yazıyor.
• Sohbet eğitimi: Modern sohbet verisi kullanılamaz, model 2026 gibi konuşmaya başlar. Ekip görgü kitaplarından, mektup rehberlerinden, yemek kitaplarından soru-cevap çiftleri çıkardı. Sonraki adımda hakem olarak Claude kullanıldı. Bunun yan etkisi oldu: Önceki 7B sürüm cevaplarını bugünkü sohbet botları gibi maddeler halinde yazmaya başlamış.

Sonra ne oldu?

Ekip, yaz için GPT-3 seviyesinde daha büyük bir vintage model ve uzun vadede bir trilyon token’ı aşan bir arşiv hedeflediğini yazmıştı. Ekim 2026 itibarıyla Hugging Face’te hâlâ yalnızca 13B modeller var ve GitHub deposu Mayıs’tan beri güncellenmedi. Yani büyük model şimdilik ortada yok.

Düşün

• Bir modelin bir şeyi “anladığını” mı yoksa “ezberlediğini” mi nasıl ayırt ederdin?
• Bilgisi 2000 yılında donmuş bir modele bugünü sorsan neyi en çok yanlış tahmin ederdi?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.