Dust: Geri yayılım olmadan transformer eğitmek, küçük ölçekte işe yaradı

Önce: Geri yayılım ne yapıyor?

Bir modeli eğitirken veriyi ileri doğru modelden geçirirsin ve cevabın ne kadar yanlış olduğunu ölçersin. Bu yanlışlık ölçüsüne loss (kayıp) deniyor. Sonra her ağırlığı hangi yöne çevirirsen kaybın azalacağını bulman gerekiyor. Bu yöne gradyan deniyor.

Geri yayılım (backpropagation), gradyanı ikinci bir geçişle, katmanları sondan başa doğru dolaşıp türevin zincir kuralıyla hesaplıyor. 1986’dan beri her sinir ağı böyle eğitiliyor, hikâyesini bilgisayar biliminin 10 makalesi yazımızda anlatmıştık. Kesin ve verimli. Ama bir şartı var: Modelin her parçası türevlenebilir olmalı. Arada dış bir program çağıran ya da kendi üstünden defalarca dönen bir modeli bu şekilde eğitmek zorlaşıyor.

Eski alternatif: Tahmin et, ölç

Türev almadan da gradyan bulunabilir. Ağırlıkları rastgele biraz oynatırsın, modeli çalıştırırsın, kayıp azaldı mı bakarsın. Bunu çok sayıda rastgele denemeyle yaparsan iyi yönler birikir ve ortalaması gradyana yaklaşır. Bu ailenin adı evrim stratejileri (ES). Sorunu yavaşlık: Her deneme için ağırlıkların ayrı bir kopyası ve ayrı bir ileri geçiş gerekiyor. Q Labs’in karşılaştırdığı en güçlü yöntem EGGROLL de bu ailede.

Dust farklı ne yapıyor?

Q Labs ekibi (Samip Dahal ve arkadaşları) ağırlıkları değil, aktivasyonları oynatıyor. Her doğrusal katmanın çıktısına, her token için ayrı ayrı küçük bir rastgele gürültü ekliyorlar. Sonra her token’da kaybın nasıl değiştiğine bakıyorlar.

Böylece tek bir ileri geçişte, binlerce token’lık bir dizi binlerce ayrı deneme gibi davranıyor. Yazarlar buna sanal popülasyon diyor. Kaybı azaltan gürültüler ödüllendiriliyor, hepsinin ortalaması alınınca o katmanın çıktısındaki hata tahmin ediliyor. Ağırlık güncellemesi bundan sonra tam geri yayılımdaki gibi hesaplanıyor. Tek fark, hatanın kalkülüsle değil deneme yanılmayla bulunması.

Sonuçlar

Testler FineWeb veri setinde, 2 milyon ile 243 milyon parametre arası küçük GPT tarzı modellerle yapıldı:

• Kısa eğitimlerde (100 bin ve 1 milyon token) Dust, yeterince deneme verilince geri yayılımdan daha düşük kayba indi.
• 10 milyon token’da deneme sayısı arttıkça geri yayılıma çok yaklaştı ama tam yetişemedi. 20 milyon token için daha iyi bir tahmin var, ama yazarlar bunun hâlâ düşmekte olan bir eğriden çıkarıldığını, sağlam olmadığını söylüyor.
• EGGROLL’a göre fark büyük. Yazarların hesabına göre EGGROLL’un Dust’a yetişmesi için binlerce kat daha fazla deneme gerekiyor.

Bu neden henüz devrim değil?

• Hesap maliyeti. Yazarlar açıkça söylüyor: Dust bugünkü hesap gücüyle geri yayılımın pratik bir yerini tutmuyor. Birkaç büyüklük mertebesi daha verimli olması gerekiyor.
• Ölçek. En büyük model 243 milyon parametre, eğitim en fazla 20 milyon token. Bugünkü büyük modeller bunun binlerce katı veriyle eğitiliyor.
• Asıl vaat henüz denenmedi. Dış program çağıran ya da kendi üstünden dönen modeller, yani geri yayılımın zorlandığı yerler, yazarların gelecek çalışma listesinde.

Yani başlıktaki “artık geri yayılıma gerek yok” fazla iddialı. Doğru cümle şu: Türev almadan eğitmenin, küçük ölçekte geri yayılımla yarışabildiği ilk ciddi örneklerden biri. Kod MIT lisansıyla GitHub’da.

Düşün

• Bir yöntem küçük modellerde iyi sonuç verip büyükte denenmemişse, ona ne kadar güvenirsin?
• Türev alma şartı kalksaydı, hangi tür yapay zekâ sistemleri kurmak kolaylaşırdı?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.