VL-JEPA: Cevabı kelime kelime yazmadan önce anlamını tahmin eden model

Bugünkü modeller nasıl cevap veriyor?

Bir görsel dil modeline (VLM, vision-language model) bir video gösterip “Ne oluyor?” diye sorduğunu düşün. Model önce kareleri bir görüntü kodlayıcıyla sayılara çeviriyor. Bu sayılar sorunun token’larıyla birlikte bir dil modelinden geçiyor. Cevap da token token üretiliyor: Her yeni kelime için model bir kez daha çalışıyor.

Bir sorun daha var. Aynı şeyi söylemenin birçok yolu var. Makaledeki örnek şöyle: “Lamba kapandı” ile “oda kararacak” aynı olayı anlatıyor, ama ortak tek kelimeleri yok. Token düzeyinde eğitilen model bu farklı yazılışların her birini ayrı ayrı öğrenmek zorunda kalıyor.

JEPA ne demek?

JEPA, Joint Embedding Predictive Architecture’ın kısaltması. Kabaca “ortak anlam uzayında tahmin yapan mimari” diyebilirsin. LeCun bu fikri 2022’de önerdi. Ana fikir şu: Ham çıktıyı (piksel ya da kelime) üretmeye çalışma, onun embedding’ini, yani anlam temsilini tahmin et. Embedding’i yapay zekâ kavramları yazımızda anlatmıştık: Anlamca yakın metinlerin sayıları da birbirine yakın düşüyor. Böylece “lamba kapandı” ile “oda kararacak” aynı bölgeye düşüyor ve model tek bir hedefe nişan alıyor.

VL-JEPA nasıl çalışıyor?

Makale Aralık 2025’te arXiv’de çıktı. Meta FAIR ile birkaç üniversitenin ortak çalışması, yazarlar arasında LeCun da var. Model dört parçadan oluşuyor:

• Görüntü kodlayıcı: Meta’nın video modeli V-JEPA 2. Eğitim sırasında dondurulmuş, yani değişmiyor.
• Tahminci (predictor): Llama 3.2 1B’nin son 8 katmanıyla başlatılmış, yaklaşık 490 milyon parametre. Videoyu ve soruyu birlikte okuyup cevabın embedding’ini tahmin ediyor.
• Metin kodlayıcı: EmbeddingGemma-300M ile başlatılmış. Eğitimde doğru cevabı embedding’e çeviriyor, tahminci bu hedefe yaklaşmayı öğreniyor.
• Hafif bir çözücü (decoder): Embedding’i sadece metin gerektiğinde kelimelere çeviriyor.

Sınıflandırma ya da video arama gibi işlerde çözücüye hiç gerek yok. Tahmin edilen embedding, aday cevapların embedding’leriyle karşılaştırılıyor ve en yakını seçiliyor.

Rakamlar ne diyor?

• Kontrollü karşılaştırma: Aynı görüntü kodlayıcı, aynı veri, aynı ayarlar. VL-JEPA 0,5 milyarlık bir tahminciyle, klasik model 1 milyarlık bir dil modeliyle eğitiliyor. 15 milyon örnekten sonra VL-JEPA hem video altyazısında hem sınıflandırmada belirgin şekilde önde. “Yüzde 50 daha az eğitilebilir parametre” iddiası buradan geliyor. Az veride (500 bin örnek) iki model başa baş.
• Seçici çözme: Canlı video izlerken embedding’ler sürekli akıyor. Anlam değişmediği sürece metne çevirmeye gerek yok. Makaleye göre sadece anlamın değiştiği yerlerde çözmek, saniyede bir çözmenin kalitesine yaklaşık 2,85 kat daha az çözme işlemiyle ulaşıyor. Videodaki “2,85 kat daha hızlı” ifadesi bu. Model her işte 2,85 kat hızlı değil; makale metin üretme gecikmesinin klasik modelle benzer olduğunu yazıyor.
• Genel testler: 1,6 milyar parametrelik model, video sınıflandırma ve aramada CLIP, SigLIP2 ve Perception Encoder’ı ortalamada geçiyor. Dört soru-cevap testinde InstructBLIP ve Qwen-VL düzeyinde kalıyor.

Abartıyı ayıkla

Videonun başlığı “bütün LLM’leri yok ediyor” diyor, ama makale bunu söylemiyor. Yazarlar VL-JEPA’yı genel VLM’lerin yerine geçecek bir model olarak sunmadıklarını açıkça yazıyor. Akıl yürütme, araç kullanma ve ajan davranışı test edilmedi. Daha büyük ölçekte ne olacağı da tam denenmedi. Soru-cevap testlerinde model cevap üretmiyor, verilen seçenekler arasından en yakınını seçiyor. Yani güçlü olduğu yer videoyu sürekli izleyip hızlı ve ucuz “anlamak”. Uzun, serbest metin ve muhakeme ise hâlâ açık soru.

Sonra ne oldu?

LeCun Kasım 2025’te Meta’dan yıl sonunda ayrılacağını duyurmuştu. Mart 2026’da kurucularından olduğu Paris merkezli AMI Labs (Advanced Machine Intelligence) 1,03 milyar dolarlık tohum yatırımı aldığını açıkladı. Şirketin odağı JEPA tabanlı dünya modelleri, yani dünyanın nasıl işlediğini dilden değil gözlemden öğrenen sistemler. Şirket araştırmalarını ve kodun önemli bir kısmını açık yayımlayacağını söylüyor. Dünya modeli fikrinin video üreten tarafını Google I/O 2026 yazısında görmüştük; JEPA aynı hedefe pikselleri üretmeden ulaşmaya çalışıyor.

VL-JEPA makalesi ICLR 2026’da yayımlandı. Ekim 2026’da LeCun’un da yazarları arasında olduğu H-JEPA çıktı: Birkaç JEPA dünya modelini üst üste koyuyor, her katman daha uzak geleceği tahmin ediyor ve plan yukarıdan aşağı ara hedeflere bölünüyor. Makaleye göre simüle bir labirent görevinde başarı %18’den %73’e çıkıyor.

Düşün

• Bir modelin her an ne gördüğünü metne dökmesi gerekmiyorsa, hangi uygulamalarda bu ciddi bir tasarruf olur?
• “Bir sonraki kelimeyi tahmin etmek” ile “anlamı tahmin etmek” arasındaki fark, sence hangi işlerde belirleyici?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.