Phonon-2: 164 MB'lık konuşma tanıma modeli ve kimin ölçtüğü sorusu

Aynı modelden ikinci bir küçültme

Ekim başında Parakeet Redux yazısında NVIDIA’nın açık konuşma tanıma modeli Parakeet TDT 0.6B v3’ün 178 MB’a nasıl indirildiğini anlatmıştık. Şimdi aynı modelden yola çıkan ikinci bir küçültme var: Fermion Research adlı genç bir laboratuvarın Phonon-2’si. 29 Eylül’de yayınlandı.

İndirme boyutu 164 MB, diske açılınca 177 MB. Karşılaştırma için: Çoğu kişinin ilk aklına gelen Whisper large-v3-turbo yaklaşık 1,6 GB.

Ne farklı yapmışlar?

İki model de büyük bir “öğretmen” modeli küçük bir “öğrenciye” sıkıştırıyor. Fark, ağırlıkları nasıl sakladıklarında:

• Redux, kodlayıcıdaki (encoder) her ağırlığı üç değerden birine zorluyor: -1, 0, +1.
• Phonon-2 ise her ağırlığı beş değerden birine indiriyor. Ama bu beş değer sabit değil, eğitim sırasında öğreniliyor. Ağırlık başına yaklaşık 2,1 bit ediyor. Modelin geri kalanı 6 bitlik tablolarda duruyor.

Bit sayısı biraz daha yüksek, ama boyut neredeyse aynı. Asıl fark başka yerde: Redux kapasitesini 25 dile yayıyor, Phonon-2 sadece İngilizce tanıyor. Bütün kapasite tek bir dile gidince doğruluk artıyor. Türkçe ise ikisinde de yok.

Hız ve doğruluk: Şirketin rakamları

Fermion’a göre Phonon-2, M5 işlemcili bir MacBook Air’in ekran kartında gerçek zamanın 174 katı hızda çalışıyor. Yani bir saatlik kayıt yaklaşık 20 saniyede bitiyor. Sadece işlemciyle bu 40 kata düşüyor. Model kartı, varsayılan “hızlı yol” çözücü ile tam çözücünün testlerde aynı doğruluğu verdiğini söylüyor.

Doğruluk ölçüsü yine kelime hata oranı (WER): Düşük olan daha iyi. Fermion’un yedi İngilizce test setindeki ortalamaları:

• NVIDIA Parakeet (öğretmen, 2,5 GB): %4,96
• Phonon-2 (164 MB): %5,21
• Parakeet Redux (178 MB): %5,69
• Whisper large-v3-turbo (1,6 GB): %6,58

Kâğıt üzerinde etkileyici: On beş kat büyük bir modelin çeyrek puan gerisinde.

Tabloyu dikkatli oku

Videonun en değerli kısmı, bu tabloyu sorgulaması. Üç nokta var:

Rakamları kim ölçtü? Redux’ın sayıları da dahil, tablodaki her şeyi Fermion çalıştırdı. Redux’ın kendi model kartında başka bir yöntemle ölçülmüş farklı bir ortalama var. İki model kartını doğrudan yan yana koyamazsın. Fermion’un kendi tablosunda bile Redux, toplantı kayıtlarından oluşan AMI testinde Phonon-2’yi geçiyor.

Hangi motorla ölçüldü? Fermion, Phonon-2’nin Redux’tan altı kat hızlı olduğunu söylüyor. Ama Redux’ı Moondream’in kendi motoruyla değil, FluidAudio adlı üçüncü taraf bir Core ML uyarlamasıyla ölçmüş: 27,8 kat. Aynı tabloda, aynı uyarlamada on dört kat büyük orijinal Parakeet 104,9 kat hızda. Büyük modelin küçükten dört kat hızlı çıkması, sorunun modelde değil uyarlamada olduğunu düşündürüyor. Moondream kendi motoruyla daha eski bir M2 MacBook Air’de 38–43 kat ölçmüştü.

Bağımsız ölçüm ne diyor? Videoya göre Hugging Face’teki Open ASR Leaderboard ekibi Phonon-2’yi kendisi test edip 2 Ekim’de listeye ekledi. Orada ortalama %7,23 çıkmış, Whisper Turbo %8,39. Phonon-2 ortalamada yine önde, ama gürültülü konuşma testi dahil üç sette Whisper kazanıyor. Redux ise o listede yok, yani en küçük iki modelin bağımsız bir kafa kafaya ölçümü henüz bulunmuyor.

Ders şu: Bir duyurudaki karşılaştırma tablosu, ölçümü yapanın seçtiği koşulları gösterir. Kendi verinle, kendi donanımında dene.

Geliştirici için kullanışlı kısımlar

• phonon transcribe ile dosyayı yazıya çeviriyorsun, --json ile her kelimenin başlangıç ve bitiş zamanını alıyorsun.
• phonon listen mikrofondan canlı yazıya çeviriyor (Mac).
• phonon serve, kendi bilgisayarında OpenAI uyumlu bir yazıya çevirme adresi açıyor. Uygulaman zaten OpenAI’ın bu API’sini kullanıyorsa, adresi localhost’a çevirmen yeterli. Ses dışarı çıkmıyor.

Linux ve Windows için işlemci sürümü, NVIDIA ekran kartları için Docker imajı da var. Kurulum için Python 3.10 ya da üstü gerekiyor. macOS’un kendi Python’u 3.9, o yüzden ayrı bir sanal ortam kurman lazım.

Lisans: Bu kez sürpriz yok

Redux’ta ağırlıklar açıktı ama çalıştıran motorun lisansı kapalıydı. Phonon-2’de ağırlıklar NVIDIA’dan gelen CC-BY-4.0 lisansıyla, komut satırı aracı Apache 2.0 ile yayında. NVIDIA’yı ve Fermion’u andığın sürece ticari üründe de kullanabilirsin.

Yine de proje çok yeni. Şimdilik bilinen tek gerçek kullanıcı, Fermion’un kendi Mac dikte uygulaması Detta. Videonun önerisi de ölçülü: Hemen her şeyi değiştirme, dene.

Düşün

• Bir modelin “en doğru” olduğunu söyleyen tabloya güvenmeden önce hangi üç soruyu sorardın?
• Kendi bilgisayarında çalışan, OpenAI uyumlu bir yazıya çevirme servisi senin projende neyi değiştirirdi?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.