Ağırlıkları doğrudan düzelten model: MIT'nin "ağırlık uzayında programlama" denemesi

Ne denendi?

Bir sinir ağının ağırlıkları milyonlarca sayıdan oluşan tablolar. Bunları normalde gradyan inişi ile, yani veriye bakıp hatayı küçültecek yönde küçük adımlarla değiştiririz. MIT CSAIL’den Rikiya Takehi, Jayden Teoh, Alex Zhang ve Omar Khattab, 2 Kasım’da yayımladıkları yazıda başka bir soru soruyor: Genel amaçlı bir dil modeli bu sayıları doğrudan okuyup yazabilir mi?

Buna weight-space programming (ağırlık uzayında programlama) diyorlar. Denemelerde kullanılan model OpenAI’ın GPT-6 Astra’sı. Yazarlar sonuçları açıkça “çok erken” diye niteliyor.

En dikkat çeken deney: Döngüye giren model

Küçük açık model Qwen3.5-0.8B, düşünme modu açıkken matematik sorularında sık sık kendini tekrar ediyor ve cevaba ulaşamıyordu. İlk 96 deneme cevabının 85’i 32.768 tokenlık sınıra takıldı.

Astra’ya GPU’suz bir Python ortamı, modelin ağırlıkları ve eğitim setinden alıştırma soruları verildi. Modeli çalıştırma hakkı da sınırlıydı: 10, 25 ya da 50 “ileri geçiş” (her biri en fazla 512 soruyu cevaplatmak demek). Astra, döngünün 15. ve 19. katmanlardaki MLP’lerin yazdığı tek bir yöne bağlı olduğunu buldu. Sonra bu yönü her iki katmanda 64 çıkış sütunundan çıkardı. Değişen ağırlık sayısı 131.072, yani modelin %0,016’sı.

50 ileri geçişlik bütçede sonuçlar şöyle:

• MATH-500: %7,9 → %48,1
• GSM8K: %13,8 → %67,1
• IFEval: %21,0 → %62,3
• Token sınırına takılan cevaplar: %93 → %33,1

10 ve 25 geçişlik bütçelerde döngü pek azalmadı. Yani Astra’nın deneyip bakması gerekiyordu.

Diğer deneyler

• Okuma: Sadece ağırlıklara bakarak bir ağın hangi oyunda eğitildiğini, bir difüzyon modelinin hangi şekli ürettiğini ve küçük bir transformer’ın hangi dili öğrendiğini tahmin etti.
• Sıfırdan yazma: Üç basit Atari benzeri oyun (MinAtar) için ağırlıkları tek seferde metin olarak yazdı. Önce ağın uygulaması gereken programı düşündü, sonra onu sayılara çevirdi. Breakout’ta ilk katman topun nereye düşeceğini hesaplıyor, ikincisi raketi oraya götürüyor. Skor 517,4. Karşılaştırma için 100 milyon adım PPO ile eğitilmiş ağ 15,8 almış.
• Başarısızlıklar: Gemma 3 270M’nin matematiğini iyileştiremedi, MATH-500 %7 civarında kaldı. Dalkavukluk (sycophancy) eklenmiş bir modeli de sadece ağırlıklardan ayırt edemedi, ancak dikkat desenlerine bakmasına izin verilince başardı.

Yazarların Gemma’dan çıkardığı ders önemli: Ağırlık düzenlemesi, var olan bir yeteneğin önündeki engeli kaldırabilir. Olmayan bir yeteneği ekleyemez.

Neden ilginç?

Yorumlanabilirlik araştırmaları yıllardır modelin içindeki “yönleri” bulmaya çalışıyor. Bir davranışı tek bir yöne bağlayıp silmek yeni bir fikir değil. Yeni olan, bu işi bir insanın değil bir dil modelinin yapması. Yazarlar bunun gizli davranışları denetlemek, veri olmadan bir davranışı silmek ya da devreleri bir modelden diğerine taşımak için kullanılabileceğini düşünüyor.

Bunun bir de güvenlik tarafı var. Açık modellerde arka kapı yazısında ağırlıklara bakarak modelin içinde ne olduğunu anlayamayacağını söylemiştik. Bu çalışma bu sınırın kaymaya başladığını gösteriyor ama dalkavukluk deneyindeki başarısızlık, yolun henüz uzun olduğunu da hatırlatıyor. Deney kayıtları GitHub’da açık. Aynı fikrin uç bir örneğini, ağırlıklara elle derlenmiş bir işlemciyi, Qwenputer yazısında anlattık.

Düşün

• Bir modelin davranışını eğitimle değil, birkaç bin ağırlığı değiştirerek düzeltmek mümkünse, açık modellerde “bu model güvenli” demek için neye bakmak gerekir?
• Bir yapay zekânın başka bir yapay zekânın ağırlıklarını düzenlemesi sana araç mı, risk mi gibi geliyor? İkisi birden olabilir mi?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.