"Sinir ağları zaten temiz": Nöronlar sanıldığı kadar karışık olmayabilir

Önce birkaç kavram

Bir sinir ağındaki nöron, bir katmandaki tek bir sayı. Girdiye göre güçlü ya da zayıf “yanar”. Mekanistik yorumlanabilirlik (mechanistic interpretability), bu nöronların ve aralarındaki bağlantıların ne iş yaptığını tersine mühendislikle çözmeye çalışan alan. Anthropic’in J-space çalışması bu alandan bir örnekti.

Tek bir şeye tepki veren nörona monosemantik, birbiriyle ilgisiz birkaç şeye tepki verene polisemantik deniyor. Alanın baskın açıklaması süperpozisyondu (superposition): Ağın nöronu yetmeyince ilgisiz kavramları aynı nöronlara katlıyor, çünkü bunlar nadiren aynı anda ortaya çıkıyor. Bu doğruysa tek bir nörona bakmak sana pek bir şey söylemez. Önce sparse autoencoder (seyrek otokodlayıcı, SAE) gibi ikinci bir model eğitip ağın iç etkinliğini, her an sadece birkaçı yanan çok sayıda “özelliğe” açman gerekir. Alanın büyük kısmı bu yola yatırım yaptı.

Kedi ve araba nöronu aslında V harfi

En ünlü kanıt, Google’ın eski görüntü modeli InceptionV1’deki 4e:55 nöronuydu. 2020’de Distill’de yayımlanan “Zoom In” makalesi, bu nöronun kedi yüzlerine ve araba önlerine tepki verdiğini, ikisinin ortak bir yanı olmadığını yazıyordu. Makalenin yazarlarından biri Cammarata. Yeni denemesinde aynı nöronu bir V şekli dedektörü olarak okuyor: Sivri alevlere ve tilki yüzlerine de tepki veriyor, en çok yuvarlak bir şekil onu bastırıyor. Sivri bir kedi yüzüyle sivri bir araba önü, V arayan bir nöron için aynı şey.

Rakamlar da değişmiş. Cammarata’ya göre InceptionV1’in son katmanındaki nöronların o dönemin araçlarıyla belki %5’i anlaşılabiliyordu. Daha iyi araçlarla bu oran yaklaşık %50, aynı mimari modern ayarlarla yeniden eğitilince %70. Aynı büyüklükte, aynı veriyle eğitilmiş modern bir ConvNeXt modelinde ise yaklaşık %99.

Dil modellerinde de benzer tablo

2023’te iki çalışma karamsar sonuç vermişti. Anthropic’in Towards Monosemanticity makalesinde küçük, tek katmanlı bir modelin ortanca nöronu puanlamada 0 almıştı: Değerlendiren kişi bir tahmin bile üretememişti. Cammarata’nın da başlattığı OpenAI projesinde ise GPT-4, GPT-2’nin nöronlarını açıklamaya çalışmıştı. Denemeye göre en cömert ölçüyle bile nöronların sadece yaklaşık %1,7’si anlaşılabilir çıkmıştı.

Goodfire’ın Qwen3-32B üzerindeki ön incelemelerine göre ise nöron kutuplarının (bir nöronun güçlü pozitif ve güçlü negatif tarafı ayrı sayılıyor) yaklaşık %90’ının tek bir ana işi var. Yaklaşık %7’sinin birbiriyle ilgili iki işi var, %2–4’ü henüz anlaşılmadı. Kimi K3 gibi trilyonlarca parametreli modellerde de benzer sonuçlar bulduklarını söylüyorlar, ama bu ölçekte tam incelemeye henüz başlamadıklarını da ekliyorlar.

Karışık görünen nöronlar: Dallanan bir ağaç

Geri kalan karışıklığı Cammarata recursive generalization (özyinelemeli genelleme) diye adlandırıyor. Nöron önce basit bir şey öğreniyor, sonra bir ağacın dal vermesi gibi yakın konulara uzanıyor. Örneğin “iy” harflerini yakalayan bir nöron önce “diy”ı, sonra içinde “iy” geçmeyen “do it yourself” ifadesini yakalamaya başlamış. Dışarıdan bakınca ilgisiz görünen şeyler, adım adım izlenince birbirine bağlanıyor.

Temkinli oku

Yazar metni gayriresmî bir deneme ve çalışma hipotezi olarak tanımlıyor. Ayrıntılı teknik makale henüz çıkmadı. Yüzdeler, “tek bir iş” sayılacak şeyin sınırını nereye çektiğine göre değişiyor, bazı örneklemler küçük. Etiketlerin bir kısmını yapay zekâ ajanları yazmış. SAE’leri de tamamen reddetmiyor: Ona göre faydalı olabilirler, ama başlangıç noktası değil, sonradan kullanılacak bir araç. Bu iddianın tutup tutmadığını diğer araştırma ekiplerinin denemeleri gösterecek.

Düşün

• Bir nöron “kedi ve araba” gibi görünüyorsa, bunun gerçekten ilgisiz bir karışım mı yoksa henüz fark etmediğin ortak bir şekil mi olduğunu nasıl test ederdin?
• Bir modelin içini okumak için ikinci bir model eğitmek gerekiyorsa, o ikinci modelin gördüğüne ne kadar güvenebilirsin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.