Xiaomi MiMo-V2.6: Bir telefon üreticisi en güçlü açık ağırlıklı modeli çıkardı

Ne çıktı?

Xiaomi’yi çoğumuz telefonlarıyla tanıyoruz. Ama şirketin MiMo adında bir yapay zekâ ekibi de var. Bu ekip 22 Eylül’de MiMo-V2.6 ailesini duyurdu. Üç model var:

• MiMo-V2.6-Pro: Ailenin en güçlüsü. Kodlama, ajan işleri ve uzun belgeler için.
• MiMo-V2.6-Flash: Daha küçük ve ucuz. Çok sayıda isteğin olduğu işler için.
• MiMo-V2.6-Pro-UltraSpeed: Pro’nun hız odaklı sürümü. Xiaomi’ye göre 20 kata kadar daha hızlı cevap veriyor, API’de de daha pahalı.

Pro ve Flash’ın ağırlıkları Hugging Face’te MIT lisansıyla yayında. Yani indirip ticari bir üründe bile kullanabilirsin.

Rakamlarla Pro

Model kartına göre Pro, bir MoE (Mixture of Experts, uzmanlar karışımı) modeli: Toplam 1,02 trilyon parametre var, ama her kelime (token) için bunların sadece 42 milyarı çalışıyor. Model, 384 küçük “uzman” ağdan her adımda 8 tanesini seçiyor. Böylece büyük bir modelin bilgisini, çok daha küçük bir modelin hesaplama maliyetiyle kullanıyorsun.

Diğer öne çıkanlar:

• 1 milyon token bağlam penceresi. Koca bir kod deposunu ya da uzun bir ajan oturumunu tek seferde görebiliyor.
• Çok kipli (multimodal): Metin, görsel, video ve sesi aynı model işliyor.
• Bağımsız değerlendirme sitesi Artificial Analysis’in zekâ endeksinde 46 puan aldı. Bu, açık ağırlıklı modeller arasında şu anki en yüksek skor.

Xiaomi’nin kendi kıyas tablolarında Pro, bazı kodlama ve terminal testlerinde en iyi kapalı modellere çok yaklaşıyor. Ama duyuru sayfası ile model kartındaki sayılar birbirinden biraz farklı. Üreticinin kendi ölçümlerini her zaman ihtiyatla okumak lazım.

Asıl ilginç kısım: Eğitim tarifi de açık

Çoğu açık model sadece ağırlıkları paylaşır, “nasıl eğittik” kısmı gizli kalır. Xiaomi bu kez daha fazlasını açtı:

• Teknik rapor (başlığı kabaca “pekiştirmeli öğrenmeyi kendi kendini geliştirmeye doğru ölçeklemek”).
• Uçtan uca pekiştirmeli öğrenme (RL) eğitim altyapısı.
• Yazılım, siber güvenlik, bilgi işleri ve web tasarımı gibi alanlarda 7.000’den fazla görev ortamı.

Pekiştirmeli öğrenmede model bir görevi dener, bir değerlendirici sonucu puanlar, model de iyi puan alan davranışları güçlendirir. Xiaomi’ye göre bu aşama yaklaşık 6 gün sürdü ve Pro için yaklaşık 2,6 milyon dolara mal oldu. Bu, sıfırdan ön eğitimin değil, üzerine yapılan RL aşamasının maliyeti. Yine de bir şirketin elindeki hazır modeli birkaç günde ciddi şekilde geliştirebildiğini gösteriyor. Bu eğitimin canlı panelini ve sonradan bulunan ödül hilelerini 30 adım, 3,47 milyon dolar yazısında inceledik.

Çalıştırmak kolay değil

“Açık” olması, dizüstü bilgisayarında çalışacağı anlamına gelmiyor. Model kartı, vLLM ile çalıştırmak için en az 8 GPU’luk bir sunucu, SGLang ile iki sunucu öneriyor. Yani ev kullanıcısı için değil. Şirketler, üniversiteler ve bulut sağlayıcıları için bir seçenek. Xiaomi, küçük bir modeli bu modelin çıktılarıyla eğittiği MiMo-V2.6-Distill-Qwen-9B adlı 9 milyar parametrelik bir sürümü de paylaştı. Bu boyut tek bir güçlü ekran kartına sığabilir.

Bir not

Anthropic, Eylül başındaki tehdit raporunda Xiaomi’yi de Claude’un cevaplarını toplu hâlde toplamakla suçlanan şirketler arasında saymıştı (damıtma saldırıları yazımız). Xiaomi bu iddiaya yanıt vermedi. Modelin başarısının ne kadarının kendi yöntemlerinden geldiğini dışarıdan bilmek zor. Açıklanan eğitim altyapısı, bunu araştırmacıların incelemesine en azından imkân veriyor.

Düşün

• Bir modeli seçerken “en iyi skor” mu, yoksa “kendi sunucumda çalıştırabilirim” mi daha önemli?
• Eğitim ortamlarının ve tarifin açık olması, “açık ağırlık” etiketinden daha mı değerli?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.