Bu neden önemli?
Yapay zekâ her zaman dev sunucular demek değil. Tek bir işe odaklanan çok küçük modeller; lambaya, robota ya da saate internet olmadan akıl verebilir. Bu da hem gizlilik hem maliyet açısından büyük fark yaratıyor.
Konuşmayan, iş yaptıran model
Needle 2, Cactus Compute adlı şirketin açık kaynak (Apache 2.0) olarak yayımladığı bir dil modeli. Toplam 45 milyon parametre ve tek bir 14 MB’lık dosya. Karşılaştırma için: Bugün popüler sohbet modellerinin parametre sayısı yüzlerce milyarla ölçülüyor.
Needle 2 bir sohbet robotu değil. Tek bir iş için eğitilmiş: araç çağırma (tool calling). Sen önceden “ışığı yak”, “termostatı ayarla” gibi komutlar tanımlıyorsun. Kullanıcı düz bir cümle söylüyor. Model de hangi komutun, hangi ayarlarla çalışacağını seçiyor.
Ona “Fransa’nın başkenti neresi?” diye sorarsan cevap veremez. Genel bilgiyle değil, akıllı ev, telefon ve giyilebilir cihaz komutlarıyla eğitildi. Küçüklüğünün bedeli bu.
Bu kadar küçük nasıl oldu?
Bir modeli küçültünce genelde “aptallaşır”. Cactus bunu önlemek için birkaç parçayı yeniden tasarlamış:
- Hesap yerine tablo: Normalde modelin bilgisi ağırlıklarda durur ve her kelime parçası için büyük çarpma işlemleri gerekir. Needle, bilginin bir kısmını arama tablolarına koyuyor. Model, hesap yapmak yerine tablodan bir satırı çekiyor.
- Öğrenmeye gerek olmayan karıştırma: Katmanlardaki büyük karıştırma bloklarının yerine Hadamard dönüşümü adlı sabit bir matematik işlemi kullanıyor. Bu işlemin öğrenilecek ağırlığı neredeyse yok, yani parametre bütçesini yemiyor.
- Baştan 2 bit: Genelde model önce büyük eğitilir, sonra sıkıştırılır (nicemleme, quantization). Needle ise ağırlık başına yaklaşık 2 bitle, sıkıştırılmış hâline alışarak eğitildi. Sonradan sıkıştırılan küçük modellerin dağılma sorunu böylece azalıyor.
Şirkete göre Needle 2, kendisinden 5 ila 70 kat büyük küçük modellerle araç çağırma testlerinde başa baş gidiyor. Raspberry Pi 5’te saniyede 500 civarı kelime parçası üretebiliyor. Bu rakamlar şirketin kendi ölçümleri.
Videodaki deney: ESP32 üzerinde
Videoyu hazırlayan geliştirici, modeli ESP32-S3 adlı yaklaşık 10 dolarlık bir mikrodenetleyicide çalıştırmak için kendi çalıştırma motorunu yazmış. Kartta ekran kartı yok, internet yok.
Terminalden “3 saniye boyunca kırmızı ışık yak” diyor. Model rengi, yanıp sönme modunu ve süreyi çıkarıyor, kart üstündeki LED yanıyor. “Mor ışık yak” dediğinde “yak” kelimesinden sabit ışık istendiğini anlıyor. Konu dışı bir soru sorunca da “bunun için bir aracım yok” deyip hiçbir şey çalıştırmıyor.
Her cevapta bir güven puanı da geliyor. Böylece “emin değilsen kullanıcıya bir daha sor” gibi kurallar yazabiliyorsun. Model kusursuz değil: Bir denemede “göster” kelimesini yanıp sönme olarak yorumladı.
Hız mı? Kartta tek bir komut yaklaşık 40 saniye sürüyor. Yavaş ama akılda tut: 8 MB belleği olan bir çipten bahsediyoruz.
Yeni sürüm yolda
Cactus, Eylül 2026’da Needle 3’ü de tanıttı. Aynı fikir, ama farklı boyutlarda kesilip kullanılabilen bir model olarak.
Düşün
- Evindeki hangi cihaz, internete bağlanmadan senin cümlelerini anlasaydı daha kullanışlı olurdu?
- Bir modelin “bunu yapamam” diyebilmesi neden önemli?
Bu yazıdaki araçlar Araç Kutusu'nda: Needle