Bir modele yeni şey öğretmenin üç yolu
Hazır bir dil modelini bir işte daha iyi yapmak istiyorsun. Bilinen yollar şunlar:
- Tam ince ayar (full fine-tuning): Bütün ağırlıklar yeniden eğitiliyor. En güçlüsü ama sonunda elinde modelin tam bir kopyası oluyor. 8 milyar parametreli bir modelde bu yaklaşık 30 GB.
- LoRA: Ağırlıklara dokunmadan yanlarına küçük, düşük boyutlu ek matrisler eğitiliyor. Ucuz ve küçük. LoRA’yı yapay zekâ kavramları yazısında anlatmıştık.
- Seyrek ince ayar: Ağırlıkların sadece küçük bir kısmı değiştiriliyor.
Üçünün ortak noktası, modele yeni sayılar yazmaları. Bir de budama (pruning) var. O ağırlık siliyor ama amacı modeli küçültmek, yeni bir şey öğretmek değil. Genelde de biraz başarı kaybettiriyor.
Deletion Tuning: Sadece silmeyi öğrenmek
Jack Lu, Zhenbang Yang ve arkadaşlarının NeurIPS 2026’da sunulacak çalışması şunu soruyor: Hiç yeni değer yazmadan, sadece doğru ağırlıkları silerek bir modele yeni yetenek kazandırabilir misin?
Yöntem şöyle çalışıyor. Modelin ağırlıkları donduruluyor. Her transformer bloğundaki MLP’nin “gate” katmanında her ağırlığa bir anahtar ekleniyor. Eğitim boyunca bu anahtar 0 ile 1 arasında yumuşak bir değer alıyor, böylece gradyan ona ulaşabiliyor. Eğitim ilerledikçe anahtar sertleşiyor ve sonunda ya açık ya kapalı oluyor. Kapalı olan ağırlık sıfırlanıyor, açık olan olduğu gibi kalıyor. Kaç ağırlık silineceğini eğitimin kendisi belirliyor. Başlangıç noktası olarak Wanda adlı bilinen bir budama yönteminin puanları kullanılıyor.
Sonuç ağırlık başına tek bit. Sıkıştırılınca 8 milyarlık Llama modeli için maske 8,4 MB. Tam ince ayar kopyası ise 30.633 MB. Bütün denemelerde silinen ağırlık oranı %0,05’in altında.
Doğrulanmış sonuçlar
Proje sayfasındaki tablolara göre:
- Pekiştirmeli öğrenme (GRPO): Llama 8B, GSM8K matematik testinde %60,3’ten %83,6’ya çıkıyor. Tam ince ayar %83,2. Qwen3-30B-A3B’de tam ince ayar %58,43, Deletion Tuning %58,54. Maske 29,6 MB, tam kopya 116 GB.
- Küçük modellerde fark var: 1 milyarlık Llama’da Deletion Tuning %54,4, tam ince ayar %60,5. Yazarlara göre küçük modellerde başarının %90 ile %99’u geri kazanılıyor, fark model büyüdükçe kapanıyor.
- Diğer eğitim türleri: Denetimli ince ayarda (MMLU-Pro, BBEH) ve bir distilasyon yönteminde (araç kullanımı, bilim soruları) da tam ince ayarla aynı seviyede.
- Eğitimin katkısı: Wanda puanlarıyla eğitimsiz silmek başarıyı en fazla 2,4 puan değiştiriyor. Öğrenilen maske ise 53,2 puana kadar kazanç sağlıyor. Yani işi yapan rastgele silmek değil, neyin silineceğini öğrenmek.
Videonun başlığındaki “daha akıllı oldu” kısmı tam olarak bu. Temel modelin her soruya 128 deneme hakkı olsa bile, Deletion Tuning uygulanmış model Llama 8B’de 4,3 puan, Qwen 7B’de 6,1 puan daha fazla soru çözüyor. Yani sadece zaten bildiği cevabı daha sık bulmuyor, temel modelin hiç bulamadığı cevapları da buluyor.
Daha az unutmak
İnce ayarın bilinen yan etkisi, modelin eski becerilerini kaybetmesi. Matematik eğitimi sırasında altı farklı genel testte (MMLU, HellaSwag, HumanEval gibi) Deletion Tuning temel modelden en fazla 1 puan uzaklaşıyor. Tam ince ayar 1,3 ile 3,1 puan, LoRA ve rastgele seyrek ince ayar 5,4 puana kadar geriliyor. Yazarlar bunu sürekli öğrenme için umut verici buluyor.
Neden önemli?
Ağırlık uzayında programlama yazısında GPT-6 Astra, küçük bir modelin içindeki tek bir yönü silerek onu döngüden kurtarmıştı. Oradaki ders, düzenlemenin var olan bir yeteneğin önündeki engeli kaldırabileceğiydi. Deletion Tuning bu fikri gradyanlı eğitimle ve çok daha geniş bir ölçekte destekliyor. Pratik tarafı da açık: Bir sunucuda tek bir temel model tutup her iş için birkaç megabaytlık bir maskeyi açıp kapatabilirsin. Kod MIT lisanslı, eğitilmiş maskeler Hugging Face’te.
Düşün
- Bir modelin yeni bir beceriyi sadece silerek kazanabilmesi, o becerinin aslında nereden geldiğini düşündürüyor?
- Her müşteriye ya da her işe ayrı bir 8 MB’lık maske vermek, ayrı ayrı ince ayarlı modeller tutmaktan hangi açılardan daha iyi, hangi açılardan daha riskli olurdu?
Videoyu izle
Kaynaklar (5, İngilizce)
- Better Stack: They Deleted Part of an AI's Brain… and It Got Smarter?! (video) (yeni sekmede açılır)
- Lu, Yang, Lasby, Pote, Ioannou, Ren: The Surprising Effectiveness of Deleting Weights in LLM Post-Training (proje sayfası) (yeni sekmede açılır)
- arXiv: The Surprising Effectiveness of Deleting Weights in LLM Post-Training (2611.10866) (yeni sekmede açılır)
- GitHub: agentic-learning-ai-lab/deleting-weights (yeni sekmede açılır)
- Hugging Face: Jacklu0831/deletion-tuning-masks (yeni sekmede açılır)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.