'İyi Görünüyor' Hatası: Yapay Zeka ile Geliştirdiğin Uygulamadaki Sessiz Arızaları Nasıl Yakalarsın

Yapay zeka uygulama oluşturucun bir iletişim formu üretti. Adını yazdın, gönder düğmesine bastın, samimi başarı mesajını gördün ve yoluna devam ettin. Bir hafta sonra sayfadan bir arkadaşına bahsettin, o da kimsenin doldurup doldurmadığını sordu. Kontrol etmeye gittin. Üç başvuru bir tür bekleme durumunda duruyor. Hiçbiri gelen kutuna ulaşmamış.

Bu, yapay zeka ile geliştirilen bir uygulamanın en yaygın arıza biçimidir ve çoğu insanın endişelendiği biçim de değildir. Kırmızı bir hata mesajı veren hatalar bulması kolaydır — yapay zeka oluşturucun onları iki dakikada düzeltir. Tehlikeli hatalar, ekranın iyi göründüğü, kullanıcının işini bitirdiğini sandığı ve senin bunu bir ay boyunca öğrenemediğin hatalardır.

Bu yazı, o hataları yakalamak için bir kontrol listesidir. “Bir QA mühendisi gibi nasıl test edilir” değil — sadece gerçek kullanıcıların, çalışıyormuş gibi görünen bir yapay zeka uygulamasından zarar gördüğü beş yer.

1. Bir şey gönder ve gerçekten bir yere gidip gitmediğini kontrol et

Yapay zeka oluşturucun bir form yaptığında, tek bir soru sor: veriler nereye gidiyor? Soyut olarak değil — kelimenin tam anlamıyla, gönderdikten sonra onlara nereye gidip bakabilirsin?

Şaşırtıcı derecede çok sayıda form, e-postayı hiç göndermeden, bir veritabanına kaydetmeden ya da kimseyi haberdar etmeden “Teşekkürler!” döndüren bir işleyiciye gönderme yapar. Form, kibar bir cepheden ibarettir. O yüzden:

“ZZZ TEST” gibi sahte ama belirgin bir adla bir test girişi gönder.
Panele, veritabanına, gelen kutusuna, elektronik tabloya — başvuruların nereye düşmesi gerekiyorsa oraya — bak.
“ZZZ TEST” girişini orada, doğru zaman damgasıyla bul.

Onu bir dakikadan kısa sürede bulamıyorsan, formun bozuktur — seni göndermenden dolayı tebrik etmiş olsa bile. Ücretli bir açılış sayfasındaki bir “bize ulaşın” formunun, e-posta adımı hiç bağlanmadığı için üç hafta boyunca sıfır potansiyel müşteri topladığını gördüm. Sayfa kusursuz görünüyordu.

2. Asla izlemeyeceğin yolu dene

Uygulamanın ne yaptığını biliyorsun çünkü onun geliştirilmesini izledin. Düğmelere her seferinde aynı sırayla tıklıyorsun. Gerçek kullanıcılar tıklamayacak.

En tuhaf hissettiren yolu seç:

Üst üste, hızlıca iki kez gönder düğmesine bas.
Bir şey yaparken ortasında sayfayı yenile.
Girişi olmayan gizli bir pencerede aç.
Kesme işareti olan bir ad yaz (O’Brien klasik yıkıcıdır).
Bir sayı isteyen alana bir sayı yaz, ama negatif ya da sıfır olsun.

Bir şey gözle görülür şekilde bozulursa, bu gerçek bir hatadır — ama en azından gürültülü bir hatadır. “İyi görünüyor” versiyonu, ikinci tıklamanın bir kopya kayıt oluşturduğu ve bunu ekrandan anlamanın hiçbir yolunun olmadığı durumdur. Veritabanına git ve zaman damgaları iki saniye arayla olan iki “ZZZ TEST” satırı ara. Bulursan, formun bir kopya engeline ihtiyacı var.

3. Bir gün bekle, sonra geri gel

Yapay zeka tarafından üretilen kodun çoğu, uygulama yeniden dağıtıldığında ya da yeniden başlatıldığında sıfırlanan geçici bellek kullanır. Uygulama verini, bir geliştiricinin “bellek içi durum” diyeceği bir şeyde tutar — bir demo için iyidir, gerçek herhangi bir şey için berbat.

Test acımasız ve kolay: biraz veri gir, sekmeyi kapat, yirmi dört saat bekle, geri gel. Verin gitmişse ya da karışmışsa, depolama gerçek değildir. Yapay zeka oluşturucunun muhtemelen sade bir dille söylenmesi gerekir: “bu verinin bir sunucu yeniden başlatmasında hayatta kalması gerekiyor.” Çoğu oluşturucu istendiğinde bir veritabanına geçer; bazıları ise sen sormadıkça geçmez.

Bu testin daha hızlı bir versiyonunu, sohbette oluşturucuna şunu sorarak yapabilirsin: “bu formun verisi nerede saklanıyor ve bir yeniden dağıtımdan sağ çıkacak mı?” Cevapta “bellekte”, “oturum” ya da “bu çalışma için” geçiyorsa, hatayı henüz hiçbir kullanıcı görmeden bulmuşsun demektir.

4. Senin olmayan bir kişiye göster

Uygulamanın ne anlama geldiğini biliyorsun. Onu sen tasarladın. Düğmeleri sen adlandırdın. Etiketler sana açık görünüyor çünkü onları sen yazdın.

Hiçbir şey açıklamadan bir arkadaşına göster. “X’i yapmaya çalış” de. Onu izle. Yardım etme. Üç şey olacak:

Beklemediğin bir yere tıklayacaklar ve uygulama şaşırtıcı bir şey yapacak.
Sen yazarken açık görünen bir etikette takılacaklar.
Yapmalarını istediğin şeyi yapacaklar, ama hayal ettiğinin yarısı kadar adımda ve tüm bir ekranı atlayacaklar — bazen uygulamanın onların doldurmasına güvendiği bir ekranı.

Bunların her biri gerçek bir hatadır. Hiçbiri hata fırlatmaz. Arkadaşın, “Aa, şirinmiş” diyecek ve laptopu sana geri verecek. Sen ise yüzünden anlayacaksın ki, hiç dikiş yeri olmadığını sandığın bir yerde otuz saniye boyunca kaybolmuşlardı.

5. Gönderdiği e-postayı bir telefonda oku

Uygulaman e-posta gönderiyorsa — onaylar, şifre sıfırlamaları, faturalar — birini telefonunda, birini de genellikle kullandığından farklı bir e-posta istemcisinde aç. Yapay zeka ile geliştirilen uygulamalar, masaüstünde Gmail’de muhteşem görünen ama Android’de Outlook’ta parazit gibi görünen e-postalar üretme eğilimindedir.

Aynı mantık PDF makbuzlar, indirilebilir dışa aktarımlar ve “bu bağlantıyı paylaş” düğmeleri için de geçerlidir. Uygulamanın dışına, gerçek dünyaya giden şey, bir yapay zeka çalışmasının en az test edilen kısmıdır. Aynı zamanda kullanıcıların en çok gördüğü kısmıdır da. Tanıdığım bir kurucu, iPhone’da makbuz PDF’i tek bir siyah kare olan güzel bir ödeme akışı yayınladı. Kimse şikâyet etmedi — sadece satın almayı bıraktılar.

”İşe yarıyor” hakkındaki rahatsız edici gerçek

Bir yapay zeka uygulama oluşturucu ile geliştirdiğinde, “işe yarıyor” şu anlama gelir: “benim makinemde, benim tarayıcımda, benim tam tıklamalarımla, onu geliştirdiğim gün çalıştı.” Bu, kulağa geldiğinden çok daha küçük bir iddiadır.

Gerçek uygulamalar şunlarda işler:

Farklı bir kişi onları kullandığında.
Veri, demodan daha uzun süre durduğunda.
Uygulama içindeki yol, öngörmediğin bir yol olduğunda.
Çıktı, test etmediğin bir cihazda okunduğunda.

İyi bir şey yayınlamak için bir yazılım test uzmanı olmana gerek yok. Sadece bu beş kontrolü, uygulamanın var olduğunu kimseye söylemeden bir gün önce, bir kez yapman yeterli. Yaklaşık yirmi dakika sürerler. Aksi halde ödeme yapan bir kullanıcıya ulaşacak sessiz hataların onda dokuzunu yakalarlar.

Sadece biri için vaktin varsa, ilkini yap. Bir şey gönder. Onu öbür tarafta bul. Yapay zeka ile geliştirilen uygulamaların çoğu iyi görünür. İş, gerçekten iyi olduklarından emin olmaktır.

Bu sana dokunduysa, yapmaya değer bir sonraki şey, eline bir kâğıt alıp uygulamanın asla sessizce başarısız olmaması gereken üç şeyi yazmak — form, e-posta, ödeme, seninki neyse — ve yukarıdaki kontrollerle her birinin üzerinden geçmektir. Şimdi yirmi dakika, sana ileride çok sayıda gece uykusu kazandırır.