Gemma 4 12B: Resmi ve sesi 'tercümansız' anlayan model

Eski yöntem: Üç ağ birden

Dil modelleri sadece token okur, yani sayıya çevrilmiş metin parçalarını. Piksel ya da ses dalgası nedir bilmez. Bu yüzden resim ve ses anlayan modeller bugüne kadar bir tür tercümanla çalıştı.

Modele bir resim verdiğinde önce ayrı bir görüntü kodlayıcı (vision encoder) devreye giriyor. Bu kendi başına bir sinir ağı. Onlarca katmanda kenarları, şekilleri, nesneleri çıkarıyor ve sonucu dil modelinin anlayacağı biçime çeviriyor. Ses için de ayrı bir konuşma kodlayıcı var. Yani aslında üç ağı aynı anda çalıştırıyorsun.

Büyük bir sunucuda bu dert değil. Ama dizüstü bilgisayarda her ağ belleğe yüklenmek zorunda. Diğer Gemma 4 modellerinde görüntü kodlayıcı tek başına yaklaşık 550 milyon parametre tutuyor.

Ailenin Nisan’daki ilk dört modelini ve lisans değişikliğini Gemma 4 yazısında anlattık.

Yeni yöntem: Tercümanı kov

Google, 3 Haziran’da yayınladığı Gemma 4 12B’de bu kodlayıcıları tamamen kaldırdı. Model kartı bunu “kodlayıcısız” (encoder-free) tasarım diye anlatıyor.

Görüntü tarafı. Resim 48×48 piksellik karelere bölünüyor. Her karede 48 × 48 × 3 renk, yani 6.912 sayı var. Bu sayılar tek bir matris çarpımıyla dil modelinin iç boyutuna, yani 3.840 sayılık bir satıra çevriliyor. Karenin resmin neresinde durduğunu da yatay ve dikey konum için iki küçük tablo söylüyor. Hepsi yaklaşık 35 milyon parametre. 550 milyonun yanında çok küçük.

Bu katman hiçbir şey “anlamıyor”. Sadece biçim değiştiriyor. Kenar, şekil, nesne gibi asıl görsel düşünmeyi artık dil modelinin kendi katmanları yapıyor. Google’ın tezi şu: 12 milyar parametrelik ana model bu işi zaten yapabilecek kadar güçlü.

Ses tarafı. Daha da basit. 16 kHz kaydedilmiş ses 40 milisaniyelik dilimlere bölünüyor. Her dilimde 640 sayı var. Bunlar da tek bir doğrusal katmanla dil modeline giriyor. Model için 40 milisaniyelik bir ses parçası, bir metin token’ından farksız. Ses zaten metin gibi zamanda sıralı olduğu için bu iyi oturuyor. Model kartına göre ses girdisi en fazla 30 saniye olabiliyor.

Ne kazanıyorsun?

• Bellek. Google’a göre model 16 GB ekran kartı belleği ya da birleşik belleği (Apple Silicon gibi) olan bir dizüstünde çalışıyor.
• Hız. Ayrı ağlar beklenmediği için resim ve ses hızlı işleniyor. Ayrıca model, birkaç token’ı birden tahmin eden MTP taslakçılarıyla geliyor. Taslak modelle hızlanma fikrini Muse Glimmer yazımızda anlattık.
• Kalite. Google, modelin daha büyük 26B MoE modeline yaklaştığını söylüyor. 256 bin token bağlam ve Apache 2.0 lisansı var.

Videoda model, M2 MacBook Pro’da internet kapalıyken bir havalimanı kalkış ekranının ve bulanık bir dizi sahnesinin fotoğrafını birkaç saniyede yorumluyor. Bir not: Google’ın kendi AI Edge Gallery uygulamasında görüntü testi videoya göre hata verdi. Test bu yüzden Apple Silicon için yazılmış başka bir çalıştırıcıyla yapıldı. Model LM Studio, Ollama, llama.cpp ve MLX’te de var.

Bedeli ne?

Kodlayıcının yaptığı işi artık dil modeli yapıyor. Yani yük yok olmadı, yer değiştirdi. Ayrı bir kodlayıcı yıllarca görüntü üzerine özel olarak eğitilmişti. Tek katmanlı bir dönüştürücünün her görüntü işinde aynı başarıyı verip vermeyeceğini zaman gösterecek. Google’ın paylaştığı test sonuçları iyi. Ama ince ayrıntı isteyen işlerde (küçük yazı, tablo, grafik) kendi örneklerinle denemek en doğrusu.

Düşün

• Bir modelin “neyi bildiği” ile “neyi okuyabildiği” arasındaki çizgi bu tasarımda nereye kayıyor?
• Telefonunda resim ve ses anlayan, internetsiz çalışan bir model olsa ilk ne için kullanırdın?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.