Qwenputer: Bir dil modelinin ağırlıklarına derlenmiş çalışan RISC-V işlemci

Ne yapıldı?

Normalde bir sinir ağının ağırlıkları eğitimle bulunur: Model örneklere bakar, hatasını küçültecek yönde sayıları azar azar değiştirir. Qwenputer’da işlemci kısmı için hiç eğitim yok. Divyansh Agrawal’ın yazdığı bir derleyici, bir işlemci devresinin tarifini alıp transformer parçalarına çeviriyor: Arama işleri için attention başları, aritmetik için ileri beslemeli (feed-forward) birimler, bellek için DeltaNet başları. Ortaya çıkan ağırlıklar elle hesaplanmış, tahmin yok.

Sonuç, Qwen’in 32 katmanının önüne eklenmiş 11 katman. Qwen’in kendi ağırlıkları değişmiyor; işlemci ek katmanlarda ve modelin genişletilmiş gizli boyutlarında duruyor. Desteklenen komut seti RV32IM, yani tam sayı işlemleri ve çarpma/bölme içeren 32 bitlik RISC-V, artı birkaç eklenti ve büyük sayılar için küçük bir birim. Yazara göre işlemci C ve MicroPython kodu çalıştırabiliyor.

Bellek nereden geliyor?

İşin en zekice kısmı bu. Qwen3.5’in katmanlarının bir kısmı klasik attention değil, Gated DeltaNet. Bu katmanlar konuşmanın geçmişini, uzunluğu ne olursa olsun sabit boyutlu bir durum matrisinde (state) özetliyor. Agrawal bu matrisi RAM gibi kullanıyor: Kapı ve yazma gücü 1’e ayarlanınca, tek bir konumu işaret eden (one-hot) bir anahtar matrisin tam bir satırını üzerine yazıyor, aynı biçimde bir sorgu da o satırı birebir geri okuyor. Yazmaçlar, bellek ve program sayacı bu satırlarda tutuluyor.

Her işlemci komutu, modelin ürettiği birkaç özel token’a karşılık geliyor: hangi bellek satırına yazılacağı, hangi değer ve komutun bittiği. Bu token’lar işlemcinin çalışma kaydı. Qwen işlemciyi, zaten eğitildiği araç çağırma (tool call) biçimini kullanarak çağırıyor. Ama arkada dış bir program, emülatör ya da sandbox yok; hepsi modelin kendi ileri geçişinde (forward pass) oluyor.

Gerçekten çalışıyor mu?

Yazarın kendi ölçümlerine göre:

• Resmî RISC-V komut testlerini (riscv-tests) geçiyor, çalıştırılan programlarda QEMU emülatörüyle aynı sonucu veriyor.
• Kimse düzeltmeden 18 milyon komutu hatasız çalıştırmış.
• Normal metinde modelin davranışı neredeyse aynı kalıyor.
• DeepMind’ın matematik setinde büyük sayılarla çarpmada temel Qwen %55, Qwenputer %97,5 doğru. Python aracı verilmiş Qwen’e (%100) çok yakın.

Videoya göre işlemci Super Mario Bros’u bile çalıştırabiliyor; yazarın yazısı ise yalnızca hesap örnekleri veriyor. Bu sayıların hepsi tek bir geliştiricinin kendi bildirdiği sonuçlar, bağımsız bir doğrulama henüz yok.

Sınırları

• Yavaş: Her komut birkaç token demek. Büyük bir hesap milisaniye değil saniyeler sürüyor. Yazar NVIDIA L4 kartta saniyede yaklaşık 3.200 işlemci token’ı bildiriyor.
• Büyük: Model dosyası 18,8 GB, temel Qwen’in yaklaşık iki katı. Büyük kısmı sıfırlarla dolu dolgu ama yine de 24 GB’lık bir GPU gerekiyor.
• Özel sürücü: İşlemciye yazılımı (firmware) yükleyen RvChat adlı bir sürücü şart. Standart generate() çağrısıyla henüz çalışmıyor.

Kod MIT, model ağırlıkları Apache-2.0 lisanslı.

Neden ilginç?

Kısa süre önce MIT’nin “ağırlık uzayında programlama” denemesini anlatmıştık: Orada bir model başka bir modelin ağırlıklarını düzeltiyordu. Qwenputer aynı fikrin uç örneği. Ağırlıkları öğrenilmiş bir yapı olarak değil, derlenebilen bir program olarak görüyor. Pratikte dışarıdan Python çalıştırmak bugün hâlâ daha hızlı ve daha basit. Ama “model kesin hesabı kendi içinde yapabilir mi?” sorusuna çalışan bir cevap.

Düşün

• Bir modele dış bir kod çalıştırma aracı vermek ile kesin hesap yapan bir devreyi modelin içine koymak arasında güvenlik açısından ne fark var?
• Sabit boyutlu bir bellek (Gated DeltaNet durumu), uzun konuşmalarda neden KV cache’e göre avantajlı?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.