mini-AGI: Tek bir ekran kartında sıfırdan eğitilen, öğrenmeyi bırakmayan küçük model

Fikir ne?

Çoğu dil modeli bir kez eğitilir, sonra dondurulur. Yeni bir şey öğretmek istersen yeniden eğitmen ya da ince ayar yapman gerekir; bu da çoğu zaman eski bilginin silinmesine (“catastrophic forgetting”, yani yıkıcı unutma) yol açar. mini-AGI bunun tersini deniyor: tek bir veri akışını sürekli okuyarak öğrenen, unutmadan büyüyen bir model.

Proje README’sine göre mini-AGI, bayt düzeyinde çalışan bir dil modeli. Kendi mimarisini kendisi kuruyor ve en az 8 GB VRAM’li tek bir ekran kartında sıfırdan eğitilebiliyor.

Nasıl çalışıyor?

• Uzmanlar diskte. Modelin her “uzmanı” (expert) diskte ayrı bir dosya. Sadece o an gereken uzmanlar ekran kartına yükleniyor. Bu yüzden model, ekran kartının belleğinden büyük olabiliyor; sınırı boş disk alanı belirliyor.
• Gerektiğinde büyür. Kapasite yetmezse eğitim sırasında yeni uzman ekliyor, kimsenin istemediği uzmanları budayor.
• Okuma ve yanıt aynı yoldan. Öğrenirken ve cevap verirken aynı kod yolu kullanılıyor.

Better Stack videosu bunu bir M2 Max MacBook üzerinde deniyor: önce çocuk hikâyeleriyle İngilizce öğretiyor, sonra Tarantino senaryolarını okutup eskisini unutmadan yeni bir şey öğrenip öğrenmediğine bakıyor.

Beklentini ayarla

README bunu açıkça söylüyor: bu oyuncak seviyesinde bir model, öncü modellerin yeteneklerini beklememelisin. İsim yarı şaka; potansiyele ve özelliklere (sürekli tek akıştan öğrenme, kaynağa göre uyum) işaret ediyor. Projenin sayfasındaki örnek çıktılar da bunu gösteriyor: hikâye cümleleri kısmen tutarlı, ama kod ve Wikipedia örneklerinde bol tekrar ve anlamsız çıktı var. Ağırlıklar henüz yayımlanmadı; eğitim ilk geçişini sürdürüyor ve yazara göre bitmesi haftalar sürecek.

Senin için anlamı

• Sürekli öğrenme, büyük laboratuvarların da üzerinde çalıştığı bir konu. Bu proje, küçük bir ev bilgisayarında bile denenebileceğini gösteriyor.
• “Parametre sayısı VRAM’le sınırlı” kuralı mutlak değil; uzmanları diskten sayfalayarak bu sınırı esnetmek mümkün.
• Kendi modelini eğitmek istiyorsan bu bir ürün değil bir deney. Okuyup fikir almak için güzel.

Düşün

• Bir modelin yeni şey öğrenirken eskiyi unutmaması senin kullanım senaryonda ne kadar önemli olurdu?
• Kişisel verinle sürekli öğrenen yerel bir model ister miydin, yoksa her seferinde dondurulmuş bir model mi tercih edersin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.