Parakeet Redux: 178 MB'lık konuşma tanıma modeli ve üç değerli ağırlıklar

1,2 GB’tan 178 MB’a

NVIDIA’nın Parakeet TDT 0.6B v3 modeli, sesi yazıya çeviren (speech-to-text) en iyi açık modellerden biri. Yaklaşık 600 milyon parametreli, 25 Avrupa dilini tanıyor ve ağırlıkları 1,2 GB tutuyor. Daha önce anlattığımız dikte uygulaması Handy de seçenekleri arasında Parakeet V3’ü sunuyor.

Moondream, 22 Eylül’de bu modelin iki yeni sürümünü yayınladı. Parakeet Ultra aynı boyutta kalıp ek eğitimle daha doğru hâle geldi. Parakeet Redux ise aynı işi 178 MB’la yapıyor. Bu, orijinalin yaklaşık yedide biri.

Üç değerli ağırlıklar

Bir yapay zekâ modeli, ağırlık denen milyonlarca sayıdan oluşuyor. Normalde her ağırlık 16 bitlik bir sayı. Çok sayıda konuma ayarlanabilen hassas bir ses düğmesi gibi düşünebilirsin.

Moondream, modelin kodlayıcı (encoder) kısmındaki her ağırlığı üç değerden birine zorladı: -1, 0 ya da +1. Buna üçlü niceleme (ternary quantization) deniyor. Hassas düğme gitti, yerine üç konumlu bir anahtar geldi.

Neden “1,58 bit”? Üç ihtimalden birini saklamak için gereken bilgi log₂(3), yani yaklaşık 1,58 bit. 16 bit yerine 1,58 bit, kabaca on kat daha az yer demek. Modelin her parçası üçlü olmadığı için toplam küçülme yedi kat civarında kalıyor. Bu fikir 2024’te Microsoft araştırmacılarının BitNet b1.58 çalışmasıyla tanınmıştı. Aynı fikri kullanan bir seslendirme modelini KittenTTS 2 yazısında anlattık.

Küçülme hız da getiriyor. Moondream’e göre işlemcilerde ve Mac’lerde hızı çoğu zaman hesaplama değil, ağırlıkların bellekten taşınması sınırlıyor. Ağırlık küçülünce taşınacak veri de azalıyor.

Ne kadar doğruluk kaybı var?

Ölçü kelime hata oranı (WER): Eksik, yanlış ve fazla kelimelerin oranı. Düşük olan daha iyi. Moondream’in kendi testlerine göre:

• İngilizce: %6,26’dan %6,55’e. Hafif kötüleşme.
• 25 dil ortalaması: %11,62’den %10,56’ya. İyileşme.
• Uzun konuşmalar: %2,71’den %2,51’e. İyileşme.
• Gürültülü ses: %6,72’den %9,04’e. Belirgin kötüleşme.

Ortalamaya aldanma. Model kartındaki dil tablosuna bakınca, iyileşme daha çok Letonca, Maltaca gibi küçük dillerden geliyor. Fransızca, Almanca, Rusça gibi büyük dillerde hata artıyor. Gürültüde de benzer sesli kelimeleri daha sık karıştırıyor.

Hız tarafında model kartı şunu gösteriyor: M2 MacBook Air’in işlemcisinde Redux, bir saniyede 38 saniyelik ses işliyor. Popüler açık motor parakeet.cpp aynı işlemcide 12 saniye işliyor. Ama Mac’in ekran kartında fark neredeyse kapanıyor: 43’e karşı 38. Videodaki testler de aynı sonuca varıyor: Asıl kazanç işlemcide.

Bunun dışında uzun kayıtları kendisi bölüyor, kelime düzeyinde zaman damgası veriyor ve mikrofondan canlı yazıya çevirebiliyor.

Dikkat: Açık ağırlık, kapalı motor

Ağırlıklar, NVIDIA’nın orijinal modeli gibi CC-BY-4.0 lisanslı. Ama modeli çalıştırmak için Moondream’in Photon motoru gerekiyor. Moondream, Photon’un kendi bilgisayarında ücretsiz olduğunu söylüyor. Yine de kurulumla gelen kestrel-kernels paketinin lisansı kapalı: Şirketle ayrı bir sözleşme yapmadıysan kullanım hakkın olmadığını yazıyor.

Videonun vardığı sonuç da bu: Açık ağırlıklar, açık bir yazılım yığını demek değil. Bir modeli kendi ürününde kullanacaksan, ağırlıkların yanında onu çalıştıran motorun lisansını da oku.

Son bir not: Desteklenen 25 dilin arasında Türkçe yok. Aynı modelden türeyen, sadece İngilizceye odaklanan ikinci bir küçültmeyi Phonon-2 yazısında anlattık.

Düşün

• Bir model için “açık” dediğinde neyi kastediyorsun: ağırlıkları mı, onu çalıştıran yazılımı mı?
• 178 MB’lık bir konuşma tanıma modeli, bir telefon uygulamasında neleri mümkün kılar?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.