วิธีทดสอบแอปที่สร้างด้วย AI เมื่อคุณไม่เคยทดสอบซอฟต์แวร์มาก่อน

คุณสร้างแอปด้วย AI มันทำงานได้บนเส้นทางที่ราบรื่น — คุณพิมพ์ชื่อ คลิกปุ่ม เห็นหน้าจอสำเร็จ แล้วยังไงต่อ? มันพร้อมส่งให้ผู้ใช้เบต้าสามคนของคุณแล้วหรือยัง? ทีมของคุณ? ลูกค้าของคุณ?

ถ้าคุณไม่มีพื้นฐานด้านซอฟต์แวร์ การทดสอบให้ความรู้สึกเหมือนเป็นหนึ่งในสิ่งที่ “นักพัฒนาตัวจริง” ทำ — ด้วยเฟรมเวิร์ก แอสเซอร์ชัน และไปป์ไลน์ CI ข่าวดี: นั่นไม่ใช่สิ่งที่การทดสอบส่วนใหญ่เป็นจริงๆ การทดสอบส่วนใหญ่ โดยเฉพาะเมื่อคุณกำลังปล่อยอะไรเล็กๆ และใหม่ คือคนหนึ่งคนคลิกไปมาอย่างมีเจตนา คุณทำสิ่งนั้นได้ บทความนี้เกี่ยวกับการทำมันอย่างตั้งใจ เพื่อให้คุณเจอบั๊กก่อนที่ผู้ใช้ของคุณจะเจอ

เป้าหมายไม่ใช่การทดสอบแอปที่สร้างด้วย AI ของคุณเหมือนมืออาชีพ แต่คือการทดสอบมันเหมือนเพื่อนขี้ระแวงที่อยากให้มันใช้ได้จริงๆ

เคล็ดลับสองรายการ

ก่อนคลิกอะไรก็ตาม นั่งลงสักสิบนาทีกับเอกสารเปล่าๆ แล้วเขียนสองรายการ

รายการ A — เส้นทางที่ราบรื่น สามหรือสี่อย่างที่ผู้ใช้ควรจะทำกับแอปนี้คืออะไร? สำหรับ SaaS ทั่วไป นั่นอาจเป็น: สมัครสมาชิก สร้างโปรเจกต์แรก เชิญเพื่อนร่วมทีมหนึ่งคน ส่งออกผลลัพธ์ สำหรับแอปแบบไดเรกทอรี: ค้นหา กรอง คลิกรายการ บันทึกมัน สามหรือสี่โฟลว์จริง เป็นภาษาธรรมดา

รายการ B — เส้นทางที่ไม่ราบรื่น จะเกิดอะไรขึ้นถ้าผู้ใช้ทำอะไรเกือบถูกแต่ไม่ถูกซะทีเดียว? พิมพ์อีเมลผิด กดปุ่มย้อนกลับกลางโฟลว์ เปิดสองแท็บแล้วแก้สิ่งเดียวกันในทั้งสอง ส่งฟอร์มเปล่า วางเนื้อหาจากเอกสาร Word — พร้อมการจัดรูปแบบทั้งหมด — ลงในช่องข้อความ ปิดแล็ปท็อปแล้วเปิดมันใหม่อีกสิบนาทีต่อมา พยายามเชิญเพื่อนร่วมทีมด้วยที่อยู่อีเมลที่มีอยู่ในระบบแล้ว

รายการเส้นทางที่ราบรื่นคือสิ่งที่ตัวสร้างแอป AI ของคุณปรับให้เหมาะ มันคือสิ่งที่ AI ทดสอบในใจขณะที่มันเขียนโค้ด ส่วนรายการเส้นทางที่ไม่ราบรื่นคือที่ที่บั๊กอาศัยอยู่ เพราะแทบไม่มีใคร — ไม่ใช่ AI ไม่ใช่คุณตอนที่คุณกำลังพรอมต์ — คิดถึงกรณีเหล่านั้น

เมื่อคุณทดสอบจริง เดินผ่านรายการ A ก่อนเพื่อยืนยันว่าพื้นฐานใช้ได้ จากนั้นใช้เวลาส่วนใหญ่กับรายการ B รายการ B คือที่ที่มีคุณค่า รายการ B ยังเป็นที่ที่คุณค้นพบว่าคุณอยากให้แอปทำอะไรจริงๆ เมื่อสิ่งต่างๆ ออกนอกลู่นอกทาง ซึ่งมักจะบังคับให้เกิดบทสนทนาขอความกระจ่างกับตัวสร้าง AI (“เมื่อฟอร์มกรอกได้ครึ่งเดียว มันควรเตือนหรือบันทึกอัตโนมัติ?”)

สามสิ่งที่ควรตั้งใจทำให้พัง

เมื่อคุณมีรายการแล้ว นี่คือสามหมวดหมู่ที่จับบั๊กจริงส่วนใหญ่ในแอปที่สร้างด้วย AI ได้

อินพุตที่ว่างเปล่าและแปลกๆ ส่งฟอร์มโดยไม่กรอกอะไรเลย ส่งฟอร์มโดยกรอกแค่ช่องเดียว ส่งชื่อที่ยาว 500 ตัวอักษร ส่งชื่อที่มีอีโมจิ วาง URL ลงในช่องที่คาดว่าจะเป็นชื่อ ลองช่องอีเมลด้วย “test” ด้วย “test@” ด้วย “test@example” ด้วยที่อยู่ “a@b.co” — มันยอมรับอีเมลสั้นๆ ที่ถูกต้องตามกฎไหม? ตัวสร้างแอป AI มักเพิ่มการตรวจสอบความถูกต้อง แต่การตรวจสอบนั้นผิดได้ทั้งสองทาง — เข้มงวดเกินไป (ปฏิเสธผู้ใช้จริง) หรือหละหลวมเกินไป (ยอมรับขยะ)

ย้อนหลังและเดินข้างๆ แอปส่วนใหญ่ทำงานได้ดีถ้าคุณเดินผ่านมันเหมือนกลุ่มทัวร์ที่เชื่อฟัง แต่มันพังในวินาทีที่มีคนสำรวจ คลิกปุ่มย้อนกลับ คลิกไปข้างหน้าอีกครั้ง รีเฟรชหน้ากลางโฟลว์ เปิดหน้าเดียวกันในสองแท็บแล้วแก้ในทั้งสอง ล็อกเอาต์แล้วล็อกอินกลับเข้ามา ถ้าคุณมีปุ่ม “เลิกทำ” คลิกมันสามครั้งติดต่อกัน สิ่งเหล่านี้ไม่ใช่กรณีพิเศษ นี่คือวิธีที่คนจริงๆ ใช้ซอฟต์แวร์

ข้อมูลหลังจากนั้น สร้างสิ่งที่แอปของคุณสร้าง โปรเจกต์ โพสต์ เรกคอร์ด อะไรก็ตาม แล้วกลับมาในวันพรุ่งนี้ มันยังอยู่ไหม? การจัดรูปแบบรอดมาไหม? ถ้าคุณแก้ไขมัน การแก้ไขบันทึกไหม? ถ้าคุณลบมัน มันหายไปจริงไหม หรือมันกลับมาเมื่อคุณรีเฟรช? ตัวสร้างแอป AI มักทำโฟลว์ “สร้าง” ได้ดีเยี่ยม แต่ลืมว่าทุกอย่างที่คุณสร้างต้องคงอยู่และแก้ไขได้ในภายหลัง

”ดีพอ” หน้าตาเป็นอย่างไร

คุณจะไม่มีวันทดสอบแอปที่สร้างด้วย AI ของคุณจนสมบูรณ์แบบได้ ซอฟต์แวร์มันพันกันยุ่งเหยิงเกินไป และเวลาของคุณก็มีค่าเกินไป คำถามไม่ใช่ “มันสมบูรณ์แบบไหม” — แต่คือ “มันดีพอสำหรับกลุ่มคนกลุ่มต่อไปที่ฉันจะเอามันไปวางต่อหน้าหรือยัง”

นี่คือลำดับชั้นคร่าวๆ ที่คุณยืมไปใช้ได้

ดีพอที่จะเดโม: เส้นทางที่ราบรื่นทำงานได้โดยไม่ล่ม ปุ่มไปในที่ที่ควรไป คุณแสดงการบันทึกหน้าจอได้โดยไม่ต้องตัดอะไรออก

ดีพอสำหรับผู้ใช้ที่เป็นมิตร: เส้นทางที่ไม่ราบรื่นไม่ทำให้ข้อมูลหาย ฟอร์มบอกคุณว่าอะไรผิดแทนที่จะล้มเหลวเงียบๆ การรีเฟรชหน้าไม่ทำให้อะไรพัง เพื่อนสามคนใช้มันได้โดยไม่ต้องส่งข้อความมาขอความช่วยเหลือ

ดีพอสำหรับผู้ใช้ที่จ่ายเงิน: แอปรับมือกับผู้ใช้ที่คุณไม่เคยเจอ เบราว์เซอร์ของพวกเขา ข้อมูลของพวกเขา นิสัยของพวกเขา คุณมีวิธีเห็นเมื่อสิ่งต่างๆ พัง (การติดตามข้อผิดพลาดพื้นฐานก็พอ — คุณไม่จำเป็นต้องมีแดชบอร์ดหรูหรา) คุณแก้และดีพลอยใหม่ได้โดยไม่ทำให้คนที่กำลังใช้งานอยู่แล้วเสียหาย

นักสร้างส่วนใหญ่ปล่อยที่ระดับ “ผู้ใช้ที่เป็นมิตร” แล้วค่อยอัปเกรดเมื่อฟีดแบ็กเข้ามา นั่นถูกต้อง ความผิดพลาดคือการพยายามกระโดดจาก “ดีพอที่จะเดโม” ตรงไปยัง “ดีพอสำหรับผู้ใช้ที่จ่ายเงิน” โดยข้ามขั้นกลาง ผู้ใช้ที่เป็นมิตรเจอสิ่งที่ผู้ใช้จริงจะเจอ — แต่พวกเขาไม่โกรธกับมัน ใช้ช่องว่างนั้นให้เป็นประโยชน์

เมื่อใดควรขอให้ AI ทดสอบให้คุณ

ตัวสร้างแอป AI ของคุณช่วยเรื่องการทดสอบได้ แต่คุณต้องเฉพาะเจาะจงเกี่ยวกับสิ่งที่คุณต้องการ “เพิ่มเทสต์” คือพรอมต์ที่แย่ มันจะสร้างโค้ดที่ดูเหมือนเทสต์และน่าจะผ่าน โดยไม่ได้ตรวจสอบอะไรที่คุณสนใจจริงๆ เทสต์ที่สร้างอัตโนมัติพวกนั้นส่วนใหญ่ยืนยันว่า 1+1 ยังเท่ากับ 2

พรอมต์ที่ดีกว่า: “ฉันเพิ่งลองส่งฟอร์มสมัครสมาชิกโดยปล่อยช่องอีเมลว่างไว้แล้วมันล่ม หาที่ที่จัดการเรื่องนี้แล้วเพิ่มการตรวจสอบที่แสดงข้อผิดพลาดที่เป็นมิตรแทน” บั๊กที่เฉพาะเจาะจง การแก้ที่เฉพาะเจาะจง ผลลัพธ์ที่เฉพาะเจาะจง AI เก่งเรื่องนี้ มันแย่กับ “ทำให้แน่ใจว่าแอปของฉันไม่มีบั๊ก” เพราะนั่นไม่ใช่งาน — นั่นคือความปรารถนา

อีกอย่างที่ตัวสร้าง AI เก่งคือการเล่นบั๊กของคุณซ้ำ ถ้าคุณอธิบายว่าคุณทำอะไร คุณคาดหวังอะไร และเกิดอะไรขึ้น ตัวสร้างมักจะตามรอยผ่านโค้ดและเสนอวิธีแก้ได้ วินัยที่คุณต้องมีคือวินัยในการเขียนสามสิ่งนั้นลงไปอย่างชัดเจน รายงานบั๊กของมือใหม่ส่วนใหญ่เป็นเวอร์ชันหนึ่งของ “มันใช้ไม่ได้” แต่รายงานบั๊กที่แก้ได้ส่วนใหญ่คือ “ฉันคลิก X คาดหวัง Y ได้ Z”

การทดสอบคือการอ่าน ไม่ใช่แค่การคลิก

อีกอย่างหนึ่ง คุณไม่จำเป็นต้องเข้าใจทุกบรรทัดของโค้ดในแอปที่สร้างด้วย AI ของคุณเพื่อจะทดสอบมันได้ดี แต่คุณควรอ่านผ่านๆ อย่างน้อย เปิดไฟล์ที่ AI เพิ่งแก้ อ่านฟังก์ชันที่มันเพิ่ม คุณไม่จำเป็นต้องรู้ว่าทุกคีย์เวิร์ดหมายถึงอะไร — คุณต้องรู้ว่าฟังก์ชันนั้นดูเหมือนกำลังทำสิ่งที่คุณขอหรือเปล่า

บั๊กที่สร้างด้วย AI จำนวนมากไม่ใช่ “โค้ดพัง” แต่เป็น “โค้ดทำอะไรที่ต่างจากสิ่งที่คุณต้องการนิดหน่อย” ช่องหนึ่งบันทึกไปผิดที่ ปุ่มหนึ่งอัปเดตสิ่งหนึ่งแต่ไม่อัปเดตสิ่งที่เกี่ยวข้อง ปุ่ม “ลบ” ซ่อนแทนที่จะลบ คุณจับสิ่งเหล่านั้นไม่ได้ถ้าไม่อ่านสิ่งที่ถูกสร้างขึ้นมาจริงๆ

ปฏิบัติกับโค้ดเหมือนเป็นสิ่งที่คุณตรวจสอบได้ ไม่ใช่สิ่งที่คุณต้องเขียน นั่นคือความต่างระหว่างแอปที่สร้างด้วย AI ที่คุณไว้ใจ กับแอปที่คุณแค่หวังว่ามันจะใช้ได้

เวอร์ชันง่ายๆ

ถ้าคุณจำอะไรอย่างอื่นไม่ได้เลย: เขียนสองรายการ ตั้งใจทำอะไรพัง และตัดสินใจว่าคุณกำลังปล่อยที่ระดับ “ดีพอ” ระดับไหน บั๊กส่วนใหญ่ในแอปที่สร้างด้วย AI ไม่ได้แนบเนียน มันนั่งอยู่บนรายการเส้นทางที่ไม่ราบรื่นที่ไม่มีใครอุตส่าห์เขียนลงไป

ถ้าคุณอยากได้การบ้านเล็กๆ: เลือกแอปหนึ่งตัวที่คุณสร้างแล้วลองทำสี่อย่าง — ส่งฟอร์มเปล่า กดรีเฟรชกลางโฟลว์ แก้ไขเรกคอร์ดแล้วเช็กในวันพรุ่งนี้ และขอให้เพื่อนคนหนึ่งใช้มันโดยที่คุณไม่ได้เฝ้าดู อะไรก็ตามที่พังคือรายการบั๊กจริงของคุณ ที่เหลือคือการผัดวันประกันพรุ่ง