Önce bir not
Bu video Temmuz 2026’da çıktı, ama anlattığı makale yeni değil: Anthropic’in yorumlanabilirlik (interpretability) ekibi onu 21 Ekim 2025’te yayımlamıştı. İncelenen model de o dönemin küçük modeli Claude 3.5 Haiku. Yine de anlattığı fikir eskimedi, o yüzden burada.
Basit görünen zor bir iş
E-posta arşivleri, kaynak kod ya da eski belgeler çoğu zaman sabit genişlikte yazılır: Her satır, diyelim 50 karakteri geçmeyecek şekilde kırılır. Bir dil modeli böyle bir metnin devamını yazarken her kelimede şunu sormalı: Sıradaki kelime bu satıra sığar mı, yoksa alt satıra mı geçmeliyim?
Sen bunu kâğıda bakarak yaparsın. Model ise metni görmüyor; elinde sadece bir sayı dizisi, yani token’lar var. Token’ların kaç harf olduğu yazmıyor, sayfanın genişliği de hiçbir yerde belirtilmiyor. Model önceki satırlardan genişliği tahmin etmeli, bulunduğu satırdaki karakterleri saymalı, farkı alıp sıradaki kelimenin uzunluğuyla karşılaştırmalı. Makaleye göre Haiku, genişlik ne olursa olsun üçüncü satıra gelindiğinde bunu büyük olasılıkla doğru yapıyor.
Sayı bir çizgide değil, kıvrımlı bir eğride
Araştırmacılar önce modelin içinde “satırda kaçıncı karakterdeyim” sorusuna cevap veren 10 özellik (feature) buldu. Her biri belli bir aralıkta yanıyor ve aralıklar sayı büyüdükçe genişliyor. Makale bunu farelerin beynindeki yer hücrelerine (place cells) benzetiyor: Hayvan odanın belli bir noktasındayken yanan nöronlar.
Bu özellikler birlikte bakıldığında daha zarif bir şey ortaya çıkıyor. Karakter sayısı, modelin iç uzayında 6 boyutlu küçük bir alt uzaya yerleşmiş, spiral gibi kıvrılan tek boyutlu bir eğri üzerinde duruyor. Matematikte buna manifold deniyor. Araştırmacılar sadece bu 6 boyuta müdahale ederek modelin satırı nerede kıracağını değiştirebiliyor.
Neden düz bir çizgi değil? 150 farklı sayıyı tek bir yön üzerinde tutsan, ya komşu sayılar birbirine çok yakın kalır ya da vektörler devasa büyür. Eğriyi kıvırarak model, her sayıyı benzer büyüklükte ama birbirinden ayırt edilebilir tutuyor. Makale bu dalgalı şeklin, az boyuta çok değer sığdırmanın en iyi yollarından biri olduğunu basit bir fizik simülasyonuyla da gösteriyor. Bu, birçok kavramın aynı boyutları paylaşması olan süperpozisyon fikriyle de bağlantılı; onu nöronların sanıldığı kadar karışık olmayabileceğini anlatan yazıda açmıştık.
Sayma nasıl yapılıyor?
İlk katmanlardaki birkaç attention head (dikkat başlığı) bu işi paylaşıyor. Kabaca, son satır başından beri kaç token geçtiğini tahmin edip ortalama token uzunluğuyla (yaklaşık 4 karakter) çarpıyorlar, sonra kısa ya da uzun token’lar için düzeltme yapıyorlar. Tek bir head yeterince kıvrımlı bir eğri üretemiyor; eğri, birden çok head’in katkısı toplanınca oluşuyor.
Satır sonunu “hissetmek”
Satırın genişliği de benzer bir eğri olarak, satır sonu karakterinin üzerinde tutuluyor. Satır sonuna yaklaştığını anlamak için model iki eğriyi karşılaştırmalı. Bunu yapan sınır head’leri, karakter sayısı eğrisini döndürüp genişlik eğrisiyle küçük bir kaymayla hizalıyor. Böylece mevcut sayı genişliğin biraz altına geldiğinde dikkat aniden önceki satır sonuna yöneliyor. Farklı kaymalarla çalışan yaklaşık üç head birlikte “kaç karakter kaldı” sayısını hassas biçimde çıkarıyor. Makale bunları da duvara yaklaşınca yanan sınır hücrelerine (boundary cells) benzetiyor.
Son adımda kalan karakter sayısı ile sıradaki kelimenin uzunluğu birbirine neredeyse dik iki yönde duruyor. Bu yerleşim sayesinde “sığar mı” kararı tek bir düz çizgiyle ayrılabilecek kadar kolaylaşıyor.
Modele göz yanılması
Mekanizmayı anlayınca araştırmacılar onu kandırmayı denedi. Git diff’lerinde satır sayımının yeniden başladığı yeri gösteren @@ ayırıcısını, satır uzunluğunu değiştirmeden metnin içine koydular. Sayma head’leri dikkatini satır sonu yerine @@’ya da vermeye başladı ve modelin satır kırma tahmini bozuldu. 180 farklı iki karakterlik dizi denendiğinde çoğunun etkisi sınırlı kaldı. Güçlü etki gösterenler çoğunlukla >> ya da || gibi koddan tanıdık ayırıcılardı. Yazarlar bunu insanlardaki Müller-Lyer illüzyonuna benzetiyor, ama doğrudan bir eşdeğerlik iddia etmiyor.
Video bu sonucu, modelin “kendi aracını icat etmesi” olarak heyecanla anlatıyor. Makalenin dili daha ölçülü: Ortada eğitim sırasında öğrenilmiş, bu göreve özel bir mekanizma var. Anthropic’in modelin aklında tuttuğu kavramları okuduğu J-space çalışması da aynı yolun devamı.
Düşün
- Model satırları karakterle değil token’la sayıyorsa, bizimki gibi uzun, ekli kelimeleri olan bir dilde bu tahmin nerede şaşabilir?
- Bir modeli kandıran “illüzyonları” bilmek güvenlik için iyi bir şey mi, yoksa saldırganlara bir kapı mı?
Videoyu izle
Kaynaklar (2, İngilizce)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.