Kimsenin aklına gelmeyecek ama mantıklı fikirler: "Bilimin yabancı uzayı"

Modelden fikir istemenin sorunu

Bir dil modeline “bana bir makine öğrenmesi araştırma fikri ver” dediğinde ne olur? Çoğu zaman o sıralar herkesin çalıştığı bir konuya benzeyen bir fikir gelir. Bu şaşırtıcı değil: Model, var olan makalelerden öğrendi ve en sık gördüğü yönlere çekiliyor.

İnsanların da benzer bir sınırı var. Her araştırmacının bir geçmişi, birlikte çalıştığı bir çevresi ve okuduğu bir literatür var. Sonuçta aklına gelen fikirler de bu çevreyle şekilleniyor. Mart’ta ilk sürümü yayınlanan, 21 Ekim’de üçüncü sürümüyle güncellenen bir makale buna bir isim veriyor: bilimin yabancı uzayı (alien space of science). Yani mantıklı ve uygulanabilir olan, ama bugünkü araştırma topluluğundan kimsenin pek düşünmeyeceği yönler.

Makalenin yazarları Max Planck enstitüleri, Mila ve Tiptree Systems’tan. Aralarında Bernhard Schölkopf ve Hugo Larochelle gibi tanınmış isimler var.

Fikir atomları ve iki model

Sistemin adı Alien. Önce NeurIPS, ICLR, ICML ve büyük NLP konferanslarından dil modelleriyle ilgili 16.068 makaleyi temel kavramlarına ayırıyor. Çıkan 82 bin küsur kavram benzerliğe göre kümeleniyor ve 273 fikir atomu elde ediliyor. Her makale, ortalama 3,5 atomun bir birleşimi gibi düşünülebilir.

Sonra iki ayrı model devreye giriyor:

• Tutarlılık modeli: Yaklaşık 43 milyon parametrelik küçük bir transformer. Bir atom kombinasyonunun anlamlı bir araştırma konusu olup olmadığını puanlıyor.
• Erişilebilirlik modeli: 39.791 araştırmacının yayın geçmişiyle eğitilmiş. Bir kombinasyonun mevcut araştırmacılardan birinin aklına gelme ihtimalini tahmin ediyor.

Sistem, birinci testten iyi, ikinci testten kötü puan alan kombinasyonları arıyor. Bu iki hedef arasındaki dengeyi tek bir ayar belirliyor. Ayarı yükselttikçe sistem daha “yabancı” fikirlere kayıyor. Seçilen kombinasyonu bir araştırma önerisine çevirme işini ise ayrıca bir dil modeli yapıyor.

İşe yarıyor mu?

Yazarlar üç yoldan bakmış.

Geçmişe dönük tahmin: Verileri 2024 sonunda dondurmuşlar ve sistemin, 2025’te gerçekten yayınlanan makalelerdeki kombinasyonları önceden bulup bulamadığını sınamışlar. Üçlü atom kombinasyonlarının sayısı 1,14 milyonun üstünde. Sistemin seçtiği %1’den küçük bir dilim, 2025 kombinasyonlarını rastgele seçime göre 35,9 kat daha sık yakalamış. ICLR 2025’te sözlü sunum yapan “Judge Decoding” makalesinin kombinasyonu, sadece tutarlılığa bakıldığında 1.489. sırada. Erişilebilirliğin ağırlığı artırılınca 1. sıraya kadar çıkıyor, varsayılan ayarda 21. sırada.

Kalite: Makine öğrenmesi ya da bilgisayar bilimi alanında lisansüstü derecesi olan on kişi, hangi yöntemden geldiğini bilmeden fikirleri puanlamış. Makaleye göre Alien’ın fikirleri tek tek kalite bakımından Claude ve Gemini’nin önerilerine denk ya da daha iyi, ama birlikte bakıldığında çok daha çeşitli.

Çeşitlilik: Fikirler küçük deneylere dönüştürülüp rapor yazdırıldığında Claude’un 10 raporundan 8’i yorumlanabilirlik (interpretability) üzerine çıkmış. Alien’ın raporlarında bu konu hiç yok.

Not: Videoda bazı rakamlar biraz farklı anlatılıyor. Örneğin “ilk beş rapordan üçü” sonucu insan puanlamasından değil, bir dil modeli hakeminin sıralamasından geliyor. 50 kişilik çalışma da bu hakemi doğrulamak için yapılmış.

Lacuna ve dikkat edilecekler

Kod MIT lisansıyla GitHub’da. Fikir kombinasyonlarını örneklemek için dil modeline gerek yok, normal bir bilgisayarda çalışıyor. Önerileri metne dökmek ise ücretli bir model API’si istiyor.

Kurcalamak istemeyen için Lacuna var. Yazarlardan bazılarının kurduğu Tiptree Systems’ın ücretsiz, hesap gerektirmeyen bir makine öğrenmesi araştırma haritası. Makaleleri araştırma yönlerine, yazarlara ve kurumlara bağlıyor ve 25 binden fazla araştırma önerisi barındırıyor.

Burada iki uyarı var. Birincisi, makale bir çıkar çatışması beyan ediyor: İki yazar, ticari araştırma keşif araçları geliştiren şirketin kurucuları. İkincisi, yöntem şimdilik yalnızca dil modeli araştırmalarında denendi. Videoya göre makalelerin çoğu ücretli olan tıp gibi alanlarda yeterli veri bulmak zor olacak. Yazarlar ise başka alanlara genişlemenin, özellikle kötüye kullanılabilecek alanlarda, ayrı bir güvenlik incelemesi gerektirdiğini yazıyor.

Yapay zekânın araştırma üretmesinin başka bir yüzünü, kontrol edilmemiş sonuçlar sorununu, OpenAI’nin matematik makaleleri yazımızda anlattık.

Düşün

• Kendi alanında “herkesin çalıştığı” konu ne? Bir dil modeline fikir sorduğunda cevabı ne kadar ona benziyor?
• Bir fikrin “kimsenin aklına gelmemesi” iyi bir işaret mi, yoksa çoğu zaman bir sebebi mi vardır?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.