Bu neden önemli?
Modeli tarayıcıda çalıştırmak, verinin cihazından hiç çıkmaması, internet olmadan çalışabilmesi ve sunucu faturası ödememek demek. Bunun için gereken hız artık erişilebilir hale geliyor.
Çıkarım nedir?
Bir yapay zekâ modelinin iki hayatı var. Önce eğitilir: bu pahalı ve uzun süren kısım. Sonra kullanılır: modele bir girdi verip sonuç almak. İkincisine inference (çıkarım) deniyor. Bir fotoğraftaki nesneleri bulmak, bir ses kaydını yazıya dökmek birer çıkarım.
Çıkarımı genelde bir sunucu yapar. Sen veriyi gönderirsin, sonuç geri gelir. Ama küçük modeller için başka bir yol var: Modeli kullanıcının cihazında, yani tarayıcıda çalıştırmak.
LiteRT.js ne?
LiteRT, Google’ın cihaz üstü yapay zekâ motoru. Eski adı TensorFlow Lite. Android, iOS ve gömülü cihazlarda yıllardır kullanılıyor. Google Temmuz 2026’da bunun tarayıcı sürümünü yayımladı: LiteRT.js. npm’de @litertjs/core paketi olarak kuruluyor.
Google’ın zaten TensorFlow.js adında bir tarayıcı kütüphanesi vardı. Farkı şu: TensorFlow.js’in hesaplamaları büyük ölçüde JavaScript ile yazılmıştı. LiteRT.js ise mobilde kullanılan asıl motoru WebAssembly’ye derliyor. WebAssembly, C++ ya da Rust gibi dillerle yazılmış kodu tarayıcıda neredeyse yerel hızda çalıştırmayı sağlayan bir teknoloji.
Üç donanım katmanı
LiteRT.js, cihazda ne varsa onu kullanıyor:
- İşlemci (CPU): Google’ın XNNPACK kütüphanesiyle, birden fazla çekirdek kullanarak. Her yerde çalışan yedek seçenek bu.
- Ekran kartı (GPU): WebGPU üzerinden. Asıl hız burada.
- Yapay zekâ çipi (NPU): Yeni cihazlardaki özel sinir ağı işlemcileri için WebNN API’si. Chrome ve Edge’de henüz deneysel.
Ne kadar hızlı?
Google’ın kendi ölçümlerine göre (M4 çipli 2024 MacBook Pro’da), LiteRT.js diğer tarayıcı motorlarından CPU ve GPU’da 3 kata kadar hızlı. İşi CPU yerine GPU ya da NPU’ya verince görevine göre 5 ila 60 kat hızlanma görülüyor. Google da bunların en iyi senaryolar olduğunu, sonucun ekran kartına ve sürücüye göre değişeceğini belirtiyor.
Better Stack’in videosunda, web kamerasından vücut hareketlerini yakalayıp bir 3D karakteri canlı oynatan küçük bir uygulama yapılıyor. Videodaki ölçüme göre aynı model CPU’da saniyede yaklaşık 38 kare, WebGPU’da 120 kare veriyor. Yani yaklaşık üç kat fark. Model küçük olduğu için bu, Google’ın rakamlarının alt ucuna denk geliyor.
Mevcut modeller ne olacak?
Elinde bir .tflite modelin varsa doğrudan çalışıyor. PyTorch ile eğitilmiş modeller için LiteRT Torch adında bir dönüştürme yolu var. Google’ın demoları arasında nesne tanıma, tek kameradan derinlik tahmini ve görüntü büyütme var. Hepsi sunucusuz.
Sırada büyük dil modelleri var. Google, sohbet modellerini tarayıcıda çalıştırmak için LiteRT-LM.js üzerinde çalıştığını söylüyor.
Sınırlar
Her model tarayıcıya sığmaz. Modeli kullanıcı her seferinde indirmek zorunda kalabilir, telefonların pili ve belleği sınırlı. Büyük modeller hâlâ sunucuda. Ama kamera efektleri, basit sınıflandırma ya da gizlilik gerektiren işler için cihaz üstü çıkarım artık ciddi bir seçenek.
Düşün
- Bir uygulamanın fotoğrafını ya da sesini sunucuya göndermeden işlemesi sana ne kadar önemli?
- Hangi yapay zekâ özelliklerini kullanıcının cihazına taşımak mantıklı, hangileri sunucuda kalmalı?
Bu yazıdaki araçlar Araç Kutusu'nda: LiteRT.js