Turing'den GPT-3'e: Bugünkü yapay zekâyı mümkün kılan 10 makale

Temel: Makine ve bilgi

1936, Alan Turing. Matematikçi David Hilbert’in sorusu şuydu: Her matematik önermesinin doğru olup olmadığına karar veren genel bir yöntem var mı? Turing cevabı “hayır” olarak kanıtladı. Ama bunu yapmak için önce “algoritma” nedir, onu tanımlaması gerekti. Sonsuz bir şerit, okuyup yazan bir kafa ve küçük bir kural tablosundan oluşan hayali bir makine tarif etti: Turing makinesi. Bugünkü her bilgisayarın soyut modeli bu.

1948, Claude Shannon. Shannon, bilgiyi anlamdan ayırıp ölçülebilir bir şeye çevirdi. Birimine bit dedi. Bir mesajın taşıdığı bilgi, ne kadar şaşırtıcı olduğuyla ölçülüyor. İngilizcenin ne kadar tahmin edilebilir olduğunu ölçmek için insanlara bir cümlenin sonraki harfini tahmin ettirdi. Fireship’in vurguladığı gibi, “sonrakini tahmin et” bugün dil modellerinin yaptığı işin ta kendisi.

Öğrenen makine: İnişler ve çıkışlar

1958, Frank Rosenblatt. Perceptron, girdileri ağırlıklarla toplayan ve yanıldıkça bu ağırlıkları düzelten basit bir yapay nöron. Makineler kendi başına öğrenebilir mi sorusuna ilk somut cevaplardan biriydi ve büyük heyecan yarattı.

1969, Minsky ve Papert. Perceptrons kitabı, tek katmanlı bir perceptron’un “ya bu ya o, ama ikisi birden değil” anlamına gelen XOR gibi basit bir işlemi bile öğrenemeyeceğini gösterdi. Katmanları üst üste koymak sorunu çözüyordu. Ama o zaman kimse böyle bir yapıyı nasıl eğiteceğini bilmiyordu. Bu alana ilgi ve para azaldı.

1986, Rumelhart, Hinton ve Williams. Cevap geri yayılım (backpropagation): Veriyi ağdan geçir, ne kadar yanıldığını ölç, hatayı geriye doğru her katmana dağıt ve her ağırlığı biraz düzelt. Ara katmanların kimsenin öğretmediği özellikleri kendi kendine bulduğu görüldü. Bugün eğitilen her sinir ağı hâlâ bu yöntemi kullanıyor.

Ölçek için gereken parçalar

1978, Leslie Lamport. Ortak bir saati olmayan bilgisayarlar olayların sırasında nasıl anlaşır? Lamport’un cevabı: Saate değil nedenselliğe bak. A, B’ye yol açmış olabiliyorsa, A önce gelir. Bu fikirden çıkan mantıksal saatler, dağıtık veritabanlarının temeli. Binlerce ekran kartının birlikte çalıştığı model eğitimleri de dağıtık sistemlerin bu temeline dayanıyor.

1998, Brin ve Page. Google’ı anlatan makale ve PageRank: Bir sayfayı içindeki kelime sayısına göre değil, ona verilen bağlantılara göre sırala. Her bağlantı bir oy, oyun ağırlığı da veren sayfanın önemine bağlı. Fireship’e göre web’i düzenleyen bu çaba, dolaylı olarak dil modellerinin eğitileceği dev metin yığınını da hazırladı.

Patlama

2012, AlexNet. Krizhevsky, Sutskever ve Hinton, milyonlarca etiketli fotoğraftan oluşan ImageNet verisiyle, iki oyun ekran kartında derin bir ağ eğitti. Yarışmada hata oranını rakiplerinden yaklaşık 10 puan düşürdü. Mesaj netti: Derin öğrenme çalışıyor, sadece yeterli veri ve işlem gücü gerekiyordu.

2017, Transformer. “Attention Is All You Need” makalesi, metni kelime kelime sırayla okumak yerine her kelimenin diğer her kelimeye aynı anda bakmasını sağlayan attention mekanizmasına dayalı bir mimari getirdi. Hem daha iyi sonuç verdi hem de büyütmeye çok daha uygundu. ChatGPT’deki “T” buradan geliyor.

2020, GPT-3. OpenAI, Transformer’ı 175 milyar parametreye büyüttü. Model, kendisine açıkça öğretilmemiş çeviri, özet ve kod yazma gibi işleri birkaç örnekle yapabildi. Buna few-shot öğrenme deniyor. İki yıl sonra ChatGPT geldi.

Zincir

Kısaca: Turing makineyi tanımladı, Shannon bilgiyi ölçtü, Rosenblatt nöronu yaptı, Hinton ve arkadaşları öğretmenin yolunu buldu, web veriyi, Transformer da mimariyi verdi. GPT-3 ise sadece ölçeği büyüttü.

Düşün

• Bu listeye 2020’den sonrası için bir makale eklesen hangisi olurdu?
• Minsky ve Papert’in kitabı bir alanı yıllarca durdurdu. Bugün hangi eleştiri benzer bir etki yaratabilir?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.