Doğruluk testten önce başlıyor
Sean Allen, Antithesis’te çalışan ve Pony dilinin çekirdek geliştiricilerinden biri olan bir mühendis. Söyleşide doğruluğu sade tanımlıyor: Program, ondan beklenen şeyi yapıyor mu? Bunu da invariant (her koşulda geçerli kalması gereken kural) olarak yazmayı öneriyor. Ona göre çoğu ekip “çalışıyor” ne demek, bunu baştan bilmiyor. Sadece bir şey bozulunca fark ediyor.
Allen bilerek kışkırtıcı konuşuyor: Teste değer vermediğini, testin bir amaç değil araç olduğunu söylüyor. Elle test en zayıf yöntem. Testler zaten geç gelen bir kontrol. İşin çoğu daha önce, tasarımda ve dilde yapılmalı. En sevdiği ilke “geçersiz durumları ifade edilemez yap”. OCaml, F# ya da Rust’taki gibi bir tip tüm olası durumları sayıyorsa ve her kullanım yerinde hepsini ele almak zorundaysan, yeni bir durum eklediğinde unuttuğun her yeri derleyici sana gösterir. Hata çalışma anında değil, derleme anında çıkar.
Örnekten kurala
Allen TDD’yi API tasarlamak için değerli buluyor. Ama tek tek örneklerle düşünmeye ittiğini de söylüyor. Örnekler sıkılaştıkça rastgele girdi üretmek daha anlamlı hale geliyor. Bu da property-based testing’e (özellik tabanlı test) çıkıyor. “Bu listeyi sıralayınca şu çıkmalı” yerine “sıralanmış her liste aynı elemanları içermeli ve her eleman bir sonrakinden küçük ya da eşit olmalı” diyorsun. Python’daki Hypothesis gibi bir araç da binlerce rastgele girdiyle bu kuralı bozmaya çalışıyor. TLA+ yazısında Hillel Wayne de çoğu mühendise bu noktayı önermişti.
İş yükü: Rastgele yetmez
Söyleşinin en somut kısmı iş yükü (workload) tasarımı. Allen’a göre iş yükü iki parçadan oluşuyor: Sistemi süren işlemler ve sistemin hâlâ doğru çalıştığını kontrol eden denetimler. Bir anahtar-değer deposuna rastgele GET, PUT, DELETE atarsan, diske taşma, çöp toplama ya da veriyi yeniden bölme gibi asıl kritik anlara nadiren ulaşırsın. Allen bunu sarhoş yürüyüşüne benzetiyor.
Önerdiği klasik örnek banka testi: 10 bin dolar, 1.000’er dolarla 10 hesaba bölünüyor. İş yükü hesaplar arasında işlemler (transaction) içinde sürekli para aktarıyor. Bir denetçi de durmadan toplamı alıyor. Toplam bir an bile 10 binden farklı çıkarsa, veritabanının yalıtım (isolation) garantisi bozulmuş demektir. Allen’a göre sıkı testlerden kaçan hatalar genelde ancak hata enjeksiyonuyla ortaya çıkıyor. Jepsen’in veritabanı incelemeleri buna örnek.
Belirlenimci simülasyon
Antithesis’in yaptığı da bu fikri ölçeklemek. Belgelerine göre sistemin tamamı, istemcisi ve denetçileriyle birlikte, tamamen belirlenimci (deterministic) bir ortamda çalışıyor. Ağ bölünmeleri ve düğüm çökmeleri gibi hatalar bilerek ekleniyor. Bulunan bir hata da birebir tekrar oynatılabiliyor. Turso yazısında anlattığımız belirlenimci simülasyon testinin aynısı.
İş yükü tasarımıyla bağlantısı ilginç. “Always” türündeki kontroller “bu hep doğru olmalı” diyor. “Sometimes” türü ise “bu en az bir kez gerçekleşmeli” diyor. Böylece testin gerçekten ilginç bir duruma ulaşıp ulaşmadığını, mesela bir yeniden bölmenin hiç yaşanıp yaşanmadığını ölçebiliyorsun. Hiç tetiklenmeyen bir denetim, sana sahte bir güven verir.
Kalite bir kapı değil
Allen kaliteyi, yayından hemen önce geçilen bir kapı olarak görmüyor. Ona göre doğruluk işi tasarımda başlıyor, test ise sadece son kontrol. Söyleşi “yavaş git ki hızlı gidesin” fikriyle bitiyor. Başta tasarıma ve ekibi aynı noktada buluşturmaya ayrılan zaman, teslimatı sonradan hızlandırıyor. Pony de bu felsefenin dil hali. Kilit ve atomik işlem içermiyor, veri yarışlarını tip sistemiyle derleme anında engelliyor.
Not: Antithesis, Allen’ın işvereni ve podcast’in sponsorlarından biri. Newsletter’daki yazının sponsorlu olmadığı belirtiliyor.
Düşün
- Senin sisteminin banka testi ne olurdu? Hangi toplam, her koşulda sabit kalmalı?
- Testlerin, sisteminin en kritik anlarına gerçekten ulaşıyor mu? Bunu nereden biliyorsun?
Videoyu izle
Kaynaklar (7, İngilizce)
- The Pragmatic Engineer: Software correctness and programming languages with Sean Allen (video) (yeni sekmede açılır)
- The Pragmatic Engineer: Software correctness & supply chain security, with Sean Allen (yeni sekmede açılır)
- Antithesis docs: How Antithesis works (yeni sekmede açılır)
- Antithesis docs: Assertions (Always, Sometimes, Reachable) (yeni sekmede açılır)
- Hypothesis documentation (yeni sekmede açılır)
- Pony Tutorial: What's Pony, anyway? (yeni sekmede açılır)
- Jepsen (yeni sekmede açılır)
Kendi cümlelerimizle yazılmış bir özettir, çeviri değildir. Tüm kaynaklar yukarıda.