Yapay zekânın yazdığı metin neden zor okunuyor? Bir makale ölçtü

Herkesin fark ettiği tuhaflık

Modellerle çok çalışıyorsan muhtemelen gördün: Cevaplar dil bilgisi açısından kusursuz, ama okurken bir yerde takılıp cümlenin başına dönüyorsun. “Okur sabır bütçesi” gibi üst üste dizilmiş isimler, “bu fonksiyon hatayı yutuyor” gibi cansız şeylerin canlı gibi davrandığı cümleler, nadir kelime çiftleri…

21 Ekim’de arXiv’de yayınlanan bir makale bu hissi ölçmeye çalıştı. Yazarlar New York Üniversitesi’nden Thomas Hikaru Clark ile UT Austin’den Matias B. Martin ve Kyle Mahowald. Soru basit: Modeller bu zor kalıpları gerçekten daha sık mı kullanıyor, ve kullanıyorsa neden?

Neyi, nasıl ölçtüler?

Ekip 14 modelden yeni bir metin derlemi topladı. Aralarında Claude Opus 5, Opus 5.5 ve Fable 5, GPT-5.6 ailesi, Kimi K2.5 ve GLM 5 gibi öncü modeller var. Karşılaştırma için daha küçük açık modeller de eklenmiş: Llama 3.1 8B ve Olmo 3 7B’nin ham (base), talimatla eğitilmiş (instruct) ve düşünen (think) sürümleri. Metinler üç türden geliyor: simüle bir kullanıcıyla uzun sohbetler, gerçek GitHub depolarında hata bulup düzeltme oturumları ve öğrenci kompozisyonlarıyla kıyaslanan kısa denemeler.

Sonra her cümle spaCy ile çözümlenmiş. spaCy, bir cümlede hangi kelimenin hangisine bağlı olduğunu çıkaran açık kaynak bir Python kütüphanesi. Böylece psikodilbilimin (insan beyninin dili nasıl işlediğini inceleyen alan) okumayı yavaşlattığını bildiği kalıplar sayılabilmiş. Bu kalıplar göz izleme ve okuma süresi deneylerinden biliniyor. Ortak noktaları çalışan belleği yormaları:

• Birbirine ait kelimeler arasındaki uzun mesafeler,
• Çok nadir görülen kelime çiftleri,
• Üç ya da daha fazla ismin üst üste dizilmesi,
• İsimden türetilmiş fiiller,
• İngilizcede isteğe bağlı “that” kelimesinin atılması (cümlenin yapısını tahmin etmeyi zorlaştırıyor),
• Cansız bir öznenin canlılara özgü bir eylem yapması.

Model bunu seçiyor mu, mecbur mu?

Asıl zekice kısım bu. Belki konu zaten bu kalıpları gerektiriyordur. Bunu ayırmak için yazarlar her cümleyi Meta’nın NLLB-200 çeviri modeliyle İngilizceden Japoncaya, sonra geri İngilizceye çevirmiş. Bu gidiş-dönüş anlamı koruyor ama ifadeyi daha yaygın kalıplara çekiyor. Bir özellik bu turdan sonra kayboluyorsa, aynı anlam daha kolay bir şekilde söylenebiliyormuş demek. Yani zor olanı model seçmiş.

Sonuç: Öncü modellerin neredeyse hepsi nadir kelime çiftlerini, isimden türetilmiş fiilleri, canlı fiilli cansız özneleri ve “that”siz yapıları, aynı cümlelerin çeviri turundan geçmiş hallerinden daha sık kullanıyor. İnsan metniyle kıyasta ise dokuz öncü modelin dokuzu da cansız özneyi ve nadir kelime çiftlerini insanlardan fazla kullanıyor. Llama ve ham Olmo bu açıdan insana yakın kalıyor. Olmo’da ise alışkanlık eğitimin her aşamasında güçleniyor: ham sürümde az, talimat sürümünde daha çok, düşünen sürümde en çok.

Suçlu: Ek eğitim

İnsan metniyle eğitilen modeller neden insan gibi yazmaktan uzaklaşıyor? Yazarların tahmini ek eğitim (post-training). Bugünkü modeller büyük ölçüde matematik, kod ve akıl yürütme görevleriyle pekiştiriliyor ve ödülü doğru cevaba ulaşınca alıyor. Açıklamanın bir insan için anlaşılır olup olmadığına kimse bakmıyor. Üstelik her fazladan token maliyet demek. Sonuçta model, en az kelimeyle en çok bilgiyi sıkıştırmayı öğreniyor.

Bunu küçük bir deneyle de sınamışlar. Qwen2.5-1.5B modelini GRPO adlı pekiştirmeli öğrenme yöntemiyle, JSON biçiminde verilen olayları İngilizce cümleye çevirecek şekilde eğitmişler ve her fazladan token için küçük bir ceza koymuşlar. Ceza küçük olsa da model hızla hep kısa söyleyişi seçmeye başlamış: Düzenleme olmayan koşulda isteğe bağlı “that”i %98’in üzerinde atıyor. İnsanlar ise duruma göre iki biçimi de kullanır. Alışkanlık, eğitimde hiç görmediği benzer yapılara da sızmış.

İyi haber

Makalede umut veren bir bulgu da var: Claude Opus 5.5, zorlukla ilişkili 21 ölçümün 19’unda Opus 5’ten daha düşük puan alıyor. Yazarlara göre bu, laboratuvarlar açık iletişimi ödüllendirdiğinde modellerin daha okunaklı yazabildiğini gösteriyor. Önerileri de bu yönde: Ödülü sadece doğru cevaba değil, iyi anlatıma da bağlamak.

Sınırları da yazıyorlar: Çalışma yalnızca İngilizce, sohbet senaryoları sınırlı ve ek eğitimin etkisi dolaylı yollarla ölçülüyor. Türkçe cevaplarda tablonun ne olduğunu bu makale söylemiyor.

Bu arada sen de beklemek zorunda değilsin. Modelden kısa ve sade cümleler isteyebilirsin. Andrej Karpathy’nin bunun için uçak bakım kılavuzlarının dilini önerdiğini ASD-STE100 yazımızda anlattık.

Düşün

• Bir modelin cevabını en son ne zaman iki kez okumak zorunda kaldın? Cümlede seni durduran ne idi?
• Bir modeli eğitirken “anlaşılırlık” için ödül vermek isteseydin, bunu nasıl ölçerdin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.