'Ser bra ut'-buggen: hur du upptäcker tysta fel i din AI-byggda app

Din AI-appbyggare producerade ett kontaktformulär. Du skrev in ditt namn, tryckte på skicka, såg det vänliga bekräftelsemeddelandet och gick vidare. En vecka senare nämner du sidan för en vän, som frågar om någon har fyllt i det. Du går för att kolla. Tre inskickningar sitter i något slags väntande tillstånd. Ingen av dem nådde någonsin din inkorg.

Det här är det vanligaste felläget för en AI-byggd app, och det är inte det de flesta oroar sig för. Buggar som kastar ett rött felmeddelande är lätta att hitta — din AI-byggare fixar dem på två minuter. De farliga buggarna är de där skärmen ser bra ut, användaren tror att de är klara, och du får inte reda på det förrän en månad senare.

Det här inlägget är en checklista för att fånga dem. Inte “hur du testar som en QA-ingenjör” — bara de fem ställen där riktiga användare blir brända av en AI-byggd app som ser ut att fungera.

1. Skicka in något och kontrollera att det faktiskt hamnade någonstans

När din AI-byggare gör ett formulär, ställ en fråga: vart tar datan vägen? Inte abstrakt — bokstavligt, vart kan du gå och titta på den efter att du skickat in?

Ett förvånansvärt stort antal av dessa formulär postar till en hanterare som returnerar “Tack!” utan att någonsin skicka mejlet, spara till en databas eller meddela någon. Formuläret är en artig fasad. Så:

• Skicka in en testpost med ett påhittat men tydligt namn som “ZZZ TEST”.
• Öppna instrumentpanelen, databasen, inkorgen, kalkylarket — varhelst inskickningar är tänkta att landa.
• Hitta din “ZZZ TEST”-post där, med rätt tidsstämpel.

Om du inte kan hitta den på under en minut är ditt formulär trasigt, även om det gratulerade dig till att skicka in. Jag har sett ett “kontakta oss”-formulär på en betald landningssida samla noll leads i tre veckor för att mejlsteget aldrig kopplades upp. Sidan såg perfekt ut.

2. Prova vägen du aldrig skulle ta

Du vet vad din app gör för att du såg den byggas. Du klickar på knapparna i samma ordning varje gång. Riktiga användare gör inte det.

Välj vägen som känns konstigast:

• Klicka på skicka två gånger i rad, snabbt.
• Ladda om sidan mitt i att göra något.
• Öppna den i ett privat fönster utan inloggning.
• Skriv ett namn med en apostrof (O’Brien är den klassiska förstöraren).
• Skriv en siffra i ett fält som ber om en, men gör den negativ eller noll.

Om något går sönder synligt är det en riktig bugg — men åtminstone är det en högljudd. “Ser bra ut”-versionen är när det andra klicket skapade en dubblettpost och det inte finns något sätt att se det från skärmen. Gå och kolla databasen och leta efter två “ZZZ TEST”-rader med tidsstämplar två sekunder isär. Om du hittar dem behöver formuläret ett dubblettskydd.

3. Vänta en dag, kom sedan tillbaka

Mycket AI-genererad kod använder tillfälligt minne som nollställs när appen distribueras om eller startas om. Appen håller din data i något en utvecklare skulle kalla “in-memory state” — okej för en demo, fruktansvärt för något riktigt.

Testet är brutalt och enkelt: mata in lite data, stäng fliken, vänta tjugofyra timmar, kom tillbaka. Om din data är borta eller hoptrasslad är lagringen inte riktig. Din AI-byggare behöver förmodligen få höra, på vanlig svenska: “den här datan behöver överleva en serveromstart.” De flesta byggare byter till en databas när de blir tillsagda; en del gör det inte om du inte ber om det.

Du kan köra en snabbare version av det här testet genom att fråga din byggare, i chatten: “var lagras datan för det här formuläret, och kommer den överleva en omdistribution?” Om svaret nämner “i minnet”, “session” eller “för den här körningen” har du hittat buggen innan någon användare har det.

4. Visa den för en person som inte är du

Du vet vad din app betyder. Du designade den. Du namngav knapparna. Etiketterna är självklara för dig för att du skrev dem.

Visa den för en vän utan att förklara något. Säg: “Försök göra X.” Titta på dem. Hjälp inte. Tre saker kommer hända:

• De klickar någonstans du inte väntade dig, och appen gör något överraskande.
• De fastnar på en etikett som verkade självklar när du skrev den.
• De gör grejen du ville att de skulle göra, men på hälften av stegen du föreställde dig, och hoppar över en skärm helt — ibland en skärm appen förlitade sig på att de skulle fylla i.

Var och en av dessa är en riktig bugg. Ingen av dem kastar ett fel. Vännen säger “åh, vad gulligt” och räcker tillbaka laptopen. Du kommer veta, av att titta på deras ansikte, att de var vilse i trettio sekunder på ett ställe du inte trodde hade några sömmar.

5. Läs mejlet det skickar, på en telefon

Om din app skickar mejl — bekräftelser, lösenordsåterställningar, fakturor — öppna ett på din telefon, och ett i en annan mejlklient än den du brukar använda. AI-byggda appar tenderar att generera mejl som ser fantastiska ut i Gmail på en dator och ser ut som brus i Outlook på Android.

Samma logik gäller PDF-kvitton, nedladdningsbara exporter och “dela den här länken”-knappar. Grejen som går utanför din app, ut i den verkliga världen, är den mest undertestade delen av ett AI-bygge. Det är också den del dina användare ser mest. En grundare jag känner levererade ett vackert kassaflöde vars kvitto-PDF, på iPhone, var en enda svart fyrkant. Ingen klagade — de slutade bara köpa.

Den obekväma sanningen om “det fungerar”

När du bygger med en AI-appbyggare betyder “det fungerar” “det körde på min maskin, i min webbläsare, med mina exakta klick, den dag jag byggde det”. Det är ett mycket mindre påstående än det låter.

Riktiga appar fungerar när:

• En annan person använder dem.
• Datan finns kvar längre än demon.
• Vägen genom appen är en du inte förutsåg.
• Utdatan läses på en enhet du inte testade på.

Du behöver inte bli mjukvarutestare för att leverera något bra. Du behöver bara göra dessa fem kontroller en gång, dagen innan du berättar för någon att appen finns. De tar ungefär tjugo minuter. De fångar nio av tio av de tysta buggar som annars skulle nå en betalande användare.

Om du bara har tid för en, gör den första. Skicka in något. Hitta det på andra sidan. De flesta AI-byggda appar ser bra ut. Tricket är att se till att de faktiskt är det.

Om det här gav genklang är nästa sak värd att göra att sätta sig med ett papper och skriva ner de tre saker din app aldrig får misslyckas med tyst — formuläret, mejlet, betalningen, vad din nu är — och gå igenom var och en av dem med kontrollerna ovan. Tjugo minuter nu köper dig många nätters sömn senare.