Sorun: Bellek
Llama 3.1 8B modeli 16 bitlik hâliyle 16 GB yer kaplıyor, 4 bite sıkıştırınca bile (quantization) 4 GB. Telefon ya da saat için bu çok büyük. Sığsa bile ikinci bir sorun var: Model her token üretirken ağırlıkların hepsini bellekten okuyor ve okunan her ağırlıkla sadece iki işlem yapılıyor. Yani enerjinin büyük kısmı hesaba değil, veriyi bellekten taşımaya gidiyor. Magnitude yazısında cevap üretme (decode) hızının neden bellekle sınırlı olduğunu anlatmıştık, sorun aynı.
Fikir: Ağırlıkları yayınla, hesabı yolda yap
Zhihui Gao, Tingjun Chen ve Dirk Englund’un 30 Eylül’de arXiv’e koyduğu makale şöyle bir düzen öneriyor:
- Baz istasyonu yayın yapıyor. Modelin ağırlıkları, Wi-Fi ve 5G’nin de kullandığı OFDM tekniğiyle yayınlanıyor. Bu teknikte sinyal binlerce küçük frekans kanalına (alt taşıyıcı) bölünüyor. Burada her alt taşıyıcı bir ağırlık taşıyor.
- Telefon hesabı radyo devresinde yapıyor. Her telsiz cihazda zaten bulunan RF mikser, iki sinyali çarpan bir parça. Telefon kendi girdisini (aktivasyonları) bir sinyale çevirip gelen ağırlık sinyaliyle mikserde çarpıyor. Çıkan sinyalin tam ortadaki frekansı, ağırlıklarla girdinin iç çarpımına eşit oluyor. Bu da bir dil modeli katmanının temel hesabı.
- Ağırlıklar belleğe hiç girmiyor. Cihaz her iç çarpım için sadece tek bir değeri sayısala çeviriyor.
Kule kimin dinlediğini bilmiyor. Tek yayın kapsama alanındaki herkese yetiyor. Senin girdin ise telefondan çıkmıyor, yani prompt’un buluta gitmiyor.
Sonuçlar nasıl ölçüldü?
Burada önemli bir ayrıntı var: Her şey simülasyon. Ekip, NVIDIA’nın Sionna aracıyla Paris ve Münih’in sanal şehir modellerinde radyo yayılımını ışın izleme ile hesapladı, gerçek bir RF mikserin davranışını ölçüp modele ekledi. 1 milyardan 70 milyara dokuz modeli bu düzende çalıştırdı.
Llama 3.1 8B ve Paris’te seçilen bir kullanıcı için:
- Perplexity (modelin gerçek metin karşısında ne kadar “şaşırdığı”, düşük olan iyi) %4 kötüleşti.
- Cihazın token başına harcadığı enerji, 16 bitlik ağırlıkları kablosuz indirmeye göre 157,7 kat, 4 bitlik indirmeye göre 40,4 kat düştü. Ağırlıklar cihazın kendi belleğinde olsaydı bile fark 51,5 ve 13,9 kat.
- 20 kullanıcı aynı anda dinlediğinde kanalı meşgul etme süresi 104 kat kısaldı.
Dikkat edilmesi gerekenler
- Sinyal kalitesi belirleyici. Münih’teki kullanıcıda kötüleşme %17’yi buldu. Yayın gücü düşürülünce bu kullanıcının sonuçları tamamen bozuldu.
- Enerji hesabı cihaz tarafı. Kulenin yayın için harcadığı güç bu karşılaştırmanın dışında.
- Her token için model baştan yayınlanmalı. Hız, kanalın bant genişliğine ve anten sayısına bağlı. Tek kullanıcıda 4 bitlik indirmeye göre kazanç sadece 1,28 kat. Asıl avantaj çok kullanıcıda ortaya çıkıyor.
- Herkes aynı modeli kullanıyor. Yayın neyse onu çalıştırıyorsun.
Gerçek bir telefon ile gerçek bir kule arasında denenmemiş, ama fikir olarak ilginç: Hesabı bellekte değil, havadaki dalga üstünde yapmak.
Düşün
- Kulelerin model yayınladığı bir dünyada hangi modelin yayınlanacağına kim karar verir?
- Telefonunda yerel model çalıştırmanın sana asıl faydası ne: gizlilik mi, hız mı, internetsiz çalışmak mı? Bu öneri hangisini karşılıyor?
Videoyu izle
Kaynaklar (3, İngilizce)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.