HybridAgent: Kelimelerle değil vektörlerle düşünen, araçları yine metinle kullanan ajan

Her adımda bilgi kaybı

Bir dil modeli cevap üretirken her adımda içeride binlerce sayıdan oluşan bir vektör hesaplıyor. Bu vektör, o an “aklından geçen” her şeyi taşıyor. Sonra bunun tek bir kelimeye (token) indirilmesi gerekiyor. Bir sonraki adım da sadece o kelimeden yola çıkıyor. Arada kalan bütün ayrıntı kayboluyor.

Akıl yürüten modellerde bu kayıp katlanıyor. Model cevap vermeden önce düşüncesini adım adım yazıyor. Buna düşünce zinciri (chain of thought) deniyor. Uzun bir zincir, binlerce token ve bekleme süresi demek.

Latent akıl yürütme

Latent akıl yürütme bu adımı atlıyor. Model son katmandaki gizli vektörü kelimeye çevirmek yerine doğrudan bir sonraki adımın girdisi olarak kullanıyor. Kelime seçme ve yeniden okuma yok. Her adım daha fazla bilgi taşıyor ve daha az adım yetiyor.

Ama iki sorun vardı. Birincisi, araç çağrısı metin olmak zorunda: Bir Python kodu ya da bir arama sorgusu vektörle yazılmıyor. Bu yüzden latent modeller ajan olarak çalışamıyordu. İkincisi, vektörler okunamıyordu. Modelin neden yanlış yaptığını anlamak ya da ne planladığını izlemek mümkün değildi.

HybridAgent ne yapıyor?

13 Ekim’de yayınlanan makale bu ikisini birleştiriyor. Model iki kip arasında kendisi geçiş yapıyor:

• Latent kipi: Özel bir işaretle bu kipe giriyor ve vektörlerle düşünüyor. Ne zaman çıkacağına da kendisi karar veriyor.
• Metin kipi: Araç çağırmak, sonucu okumak ve cevabı yazmak için normal kelimelere dönüyor.

Köprüyü HybridLink kuruyor: Son katmandaki vektörü, modelin girdi olarak tanıdığı biçime çeviren küçük bir ek katman. 4 milyar parametreli bir modelde yaklaşık 10 milyon parametre. Metin, latent adımlar ve araç sonuçları turlar boyunca modelin kendi belleğinde (KV önbelleği) tutuluyor, yani latent kısmı metne çevirip saklamak gerekmiyor.

Eğitim iki aşamalı. Önce ince ayarla (HybridSFT) model kendi ürettiği latent düşünceleri kullanmayı öğreniyor. Sonra pekiştirmeli öğrenmeyle (HybridRL) ne zaman latent düşünüp ne zaman metne döneceğini öğreniyor. Makaleye göre eğitim ilerledikçe model düşünmenin daha büyük kısmını latent kipe kaydırıyor.

Sonuçlar

Ekip Qwen3 tabanlı 4B, 8B ve 14B modelleri matematik, bilim, tıp, arama ve ajan görevlerinden oluşan 11 testte denedi. Makaleye göre ortalama %10,4 daha başarılı, %35,5–54,7 daha az token, 1,8–2,6 kat daha hızlı ve 2,7–3,7 kat daha ucuz. Bunlar henüz hakem değerlendirmesinden geçmemiş bir ön baskının kendi ölçümleri.

Modelin latent düşüncelere gerçekten dayandığını da test etmişler. 8B modelin vektörlerini başka bir sorudan alınanlarla değiştirince MATH500 başarısı %84,6’dan %44,8’e düşüyor.

Düşünceler gerçekten okunabiliyor mu?

Ekip, her latent adımın vektörüne en yakın kelimeyi bularak bir “sözde metin” çıkarıyor. Depodaki örnekte model, sesin 10 km’yi kaç saniyede gittiğini hesaplarken önce ses hızını 343 m/s olarak hatırlıyor, sonra emin olmak için arama yapmaya karar veriyor. Cevap 29 saniye.

Ama dikkat: Bu okuma bir yaklaşık. Vektör bir kelimeden fazlasını taşıyor; sözde metin onun gölgesi. Örnekte bile “the the speed of speed” gibi bozukluklar var. Üstelik dışarıdan bakan biri sadece metin kısmını görüyor; latent adımlar işaretlerin arkasında gizli. Makale, bu okumanın sadece modeli sunan şirketin elindeki HybridLink ile yapılabileceğini avantaj olarak sunuyor. Yani denetim, kullanıcıdan şirkete kayıyor. GPT-6 Astra çıktığında da benzer bir endişe konuşulmuştu: Düşüncesini yazıya dökmeyen modeli izlemek daha zor. Bu gerilimin arka planını neuralese yazısında anlattık.

Kod MIT lisanslı, 8B ve 14B modeller Hugging Face’te. Standart sunucu yazılımları (vLLM gibi) bu karma üretimi henüz desteklemiyor, ekip kendi altyapısını yazmış.

Düşün

• Bir ajanın düşüncesinin tamamını okuyamasan ama araç çağrılarını ve önemli kararlarını görsen, ona ne kadar güvenirdin?
• Gizli düşünceleri sadece modeli sunan şirket okuyabiliyorsa, bu güvenlik için iyi mi, kötü mü?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.