MirrorCode: Kaynak kodu görmeden bir programı baştan yazmak, araştırmalar ne kadarını ölçtü?

Gösteriden ölçüme

Ekim’de ArtCraft ve REA yazısında ajanların Photoshop’a benzeyen uygulamalar ve eski oyunların yeniden yazımlarını çıkardığını anlatmıştık. O örneklerin ortak sorunu, birbirleriyle karşılaştırılamamaları. Her biri farklı bir program, farklı bir model, farklı bir “çalışıyor” tanımı. Two Minute Papers’ın son videosu bu konuyu araştırmalar üzerinden ele alıyor. En sağlam dayanağı da MirrorCode adlı bir test seti.

MirrorCode nasıl çalışıyor?

MirrorCode’u Epoch AI, METR ve birkaç kurumdan araştırmacılar hazırladı. Makale Haziran’da yayımlandı, Temmuz’da güncellendi. Ajana bir programın derlenmiş halini veriyorlar ama sadece çalıştırma izniyle. Yanında programın belgeleri ve bazı örnek testler de var. Kaynak kod yok, internet erişimi yok. Ajan programı istediği kadar çalıştırıp çıktısını izleyebiliyor. Sonra aynı işi yapan programı Python, C, Rust, Go, OCaml ya da Ada ile sıfırdan yazıyor.

Puanlama acımasız: Her program için 63 ile 2.665 arasında uçtan uca test var ve çıktının orijinalle bayt bayt aynı olması gerekiyor. Testlerin ortalama üçte biri ajandan saklanıyor. Yani sadece gördüğü testleri ezberleyerek geçemiyor. Hedefler arasında sed, cal, hexyl, Python için ruff, Apple’ın yapılandırma dili pkl ve gotree adlı bir biyoinformatik aracı gibi 25 program var.

Sonuçlar

Test edilen üç modelin (Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro Preview) en iyisi Opus 4.7 oldu ve ortalamada %56 aldı. Yazarlara göre sekiz ay önceki en iyi modeller yaklaşık %30 alırdı. En çarpıcı örnek gotree: Yaklaşık 16 bin satır Go ve 40’tan fazla komut. Opus 4.7 bunu 14 saatte, 251 dolarlık maliyetle yeniden yazdı ve 2.001 testin 2.000’ini geçti. Yazarların tahminine göre aynı iş, yapay zekâ yardımı olmayan bir mühendisin 2 ile 17 haftasını alırdı.

Makale sınırlarını da açıkça yazıyor. Sadece metin çıktısı veren programlar var, arayüzlü uygulamalar yok. Kodun kalitesi değil, sadece davranışı ölçülüyor ve çözümler çoğu zaman tek parça, derme çatma kod. Programların çoğu açık kaynak olduğu için 17’sinde modelin kodu ezberlemiş olabileceğine dair izler bulunmuş. Ama ezberlenmiş bazı programlar çözülemezken ezberlenmemiş bazıları çözülmüş. Bir de hile meselesi var: GPT-5.5 çalıştırmalarının %24’ü, Gemini’nin %31’i testleri bir şekilde atlatmaya çalışmış. Bu, benchmark hileleri yazısında anlattığımız tablonun yeni bir örneği.

Aynı fikir, iki küçük çalışma

Videoda anılan iki çalışma işi farklı yerlere taşıyor:

• REMEND, derlenmiş bir programın içindeki matematik formülünü geri çıkaran bir model. En fazla 12 milyon parametreyle, yani bugünün ölçüsüyle çok küçük. Proje sayfasına göre üç işlemci mimarisi, üç derleme seviyesi ve iki programlama dilinde %89,8 ile %92,4 arasında doğruluk sağlıyor. Bu sayılar yapay olarak üretilmiş test verisinde ölçülmüş.
• WebUI-95, bir web sayfasının ekran görüntüsünden kodunu yeniden üreten bir modeli (UI2Code_N) 10 bin sayfaya uygulamış. Yeni sayfalar orijinaline görsel olarak çok yakın (UIClip benzerliği ortalama 0,938) ama kodları orijinalin yirmide birinden küçük. Çünkü çerçevelerin ve derleme araçlarının bıraktığı fazla kod gitmiş.

Neden bu kadar iyi çalışıyor?

Videonun açıklaması şu: Eğitim için neredeyse sınırsız malzeme var. Herhangi bir açık kaynak projeyi derleyip çalıştırınca elinde bir “kaynak kod ve çalışan program” çifti oluyor. Ayrıca kopyalanacak programın kendisi bir oracle (her soruya doğru cevabı veren hakem) gibi çalışıyor. Ajan bir sürüm yazıyor, orijinalle aynı girdiyi verip çıktıları karşılaştırıyor, farkı kapatıyor. MirrorCode’un sonucu da bunu destekliyor: Görünen testler kaldırılınca büyük programlarda başarı ciddi biçimde düşmüş.

Bu yeteneğe karşı ilk fren de geldi. Anthropic, Ekim sonunda Claude Code’da Opus 5.5’in talimatlarına, var olan belirli bir oyunun kopyasını yapmayı engelleyen iki cümle eklediğini doğruladı. Özgün oyunlar ve senin kendi tasarımların etkilenmiyor. Bazı geliştiriciler meşru tersine mühendislik işlerinin de reddedildiğini söylüyor, ama Anthropic bunun aynı değişiklikle ilgili olup olmadığını açıklamadı.

Düşün

• Kullandığın bir komut satırı aracını, sadece çalıştırarak ve çıktısına bakarak yeniden yazman gerekse, en çok hangi uç durumlar zorlardı?
• “Davranışı aynı” bir kopya, bakımı kolay bir program anlamına gelir mi? Sen hangisine güvenirdin?

Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.