Who ve Eye: Kimin konuştuğunu ve fotoğraflarını cihazında ayıran iki küçük model

Konuşmacı ayrımı nedir?

Bir podcast kaydını yazıya dökmek işin yarısı. Hangi cümleyi kimin söylediğini bilmezsen metin tek bir uzun paragrafa döner. Buna speaker diarization (konuşmacı ayrımı) deniyor: Kayıtta “kim, ne zaman konuştu” sorusunu cevaplamak. Model kelimeleri anlamıyor. Sesleri birbirinden ayırıp “Konuşmacı 1, 0:00-0:42” gibi zaman aralıkları çıkarıyor. Yazıya dökmeyi ayrı bir konuşma tanıma modeli yapıyor, sonra ikisinin çıktısı birleştiriliyor.

Who ne yapıyor?

Desert Ant Labs, cihaz üstü çalışan küçük modeller yapan bir laboratuvar. Sitesinde Voz (konuşma tanıma), Clear (ses temizleme), Redact (metinden kişisel veri ayıklama) gibi 18 model listeleniyor. Who bunların konuşmacı ayrımı yapanı. Apple cihazlarında Core ML ile Neural Engine üzerinde çalışıyor, boyutu 81 MB (8 bitlik sürümü 42 MB). Android, Linux ve Windows için 49 MB’lık bir LiteRT sürümü var, o sadece CPU’da çalışıyor. Tarayıcı desteği henüz yok.

Hız etkileyici: Şirkete göre M5 Pro’lu bir MacBook Pro’da gerçek zamanın yaklaşık 950 katı. 50 dakikalık bir röportaj 3 saniye civarında bitiyor. Model kartı, Who’nun pyannote’un açık lisanslı community-1 modelini temel aldığını da belirtiyor.

pyannote ile kıyas

pyannote, konuşmacı ayrımında en bilinen açık araç. Desert Ant’ın kendi ölçtüğü hata oranlarına göre (düşük olan iyi) Who toplantı kayıtlarında öne geçiyor: AMI’de %12,6’ya %13,1, NOTSOFAR-1’de %16,2’ye %18,7. Ama VoxConverse’te (%8,4’e %7,3), uzak mikrofonlu DiPCo’da (%41,1’e %33,4) ve özellikle şirket kazanç toplantılarından oluşan Earnings-21’de (%27,7’ye %7,3) geride. pyannote bu testlerde sunucu GPU’sunda, Who ise dizüstündeki Neural Engine’de koşmuş.

Earnings-21’deki büyük farkın sebebi belli: Who her beş dakikalık bölümde en fazla dört konuşmacı etiketleyebiliyor, o veri setinde ise 20 kişiye kadar konuşmacı var. Kalabalık panellerde bunu hesaba kat.

Eye: Fotoğraf arşivi için tek çağrı

Eye bir görüntü modeli. Tek çağrıda bir fotoğraf için koca bir rapor dönüyor: ekran görüntüsü mü, fiş mi, belge mi; bulanık mı; gözler kapalı mı; 558 sahne etiketi; estetik, “saklamaya değer” ve kapak puanları; yüzler, en iyi kırpma ve döndürme önerisi. Her etiketin bir güven puanı var. Şirket 0,5’i önerilen eşik, 0,9’u katı eşik olarak kalibre ettiğini söylüyor. Görüntü kodlayıcısı Meta’nın PE-Core modelinden ince ayarlanmış.

Apple’da 48 MB, LiteRT sürümü 66 MB. Bu sürüm LiteRT.js ile tarayıcıda da çalışıyor. Bir M6 Mac’te Neural Engine ile fotoğraf başına 5,5 ms, Chrome’da WebGPU ile 41 ms ölçülmüş. Videodaki demo da tam bunu yapıyor: Bir klasör fotoğrafı yüklemeden tarayıcıda sıralıyor. Diğer demo Who Said What ise Who’yu Apple’ın konuşma tanıma motoruyla birleştirip Mac’te konuşmacılı transkript ve altyazı dosyası çıkarıyor.

Dikkat edilecekler

• Lisans açık kaynak değil. “Source-available” bir lisans. Ayda 100 bin aktif cihaza kadar ücretsiz, sonrası ticari lisans. SDK aylık lisans kontrolü yapıyor, ama ses ya da fotoğraf göndermediğini söylüyor.
• Rakamlar şirketten. pyannote karşılaştırmasını da kendisi koşmuş. Phonon-2 yazısında konuştuğumuz soru burada da geçerli.
• Who’nun sınırları: Konuşmacıları isimle değil numarayla etiketliyor. Bir saniyeden kısa konuşan kişiyi yakındaki birine katabiliyor, kahkaha ya da alkışa ayrı etiket verebiliyor. Bütün ölçümler İngilizce kayıtlarla yapılmış.
• Eye’ın sınırları: Yüzleri tanımıyor, sadece tarif ediyor. Fişi tanıyor ama okumuyor. İllüstrasyonlarda puanları daha az güvenilir. “Sil” önerilerini otomatik değil, öneri olarak kullan.

Düşün

• Toplantı kayıtlarını bir bulut servisine yüklemek yerine cihazda işlemek senin için ne kadar önemli?
• Bir modelin rakibiyle kıyasını model yapımcısı yapınca bu rakamlara ne kadar güvenirsin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.