A/B Testing: Những sai lầm sơ đẳng khiến bạn test sai bét

Chạy A/B Test không chỉ là chia traffic 50/50 rồi ngồi nhìn Dashboard. Coi chừng bạn đang bị Kết quả ngẫu nhiên đánh lừa.

Ma lực của A/B Testing

Chúng ta không cãi nhau, hãy để Data trả lời. A/B Test là công cụ quyền lực nhất của PM. Nút màu Đỏ hay Xanh? Test là biết. Nhưng...

3 Sai lầm hay gặp phải

1. Dừng test quá sớm dẫn đến Peeking Problem

Bạn chạy test buổi sáng. Buổi chiều thấy bản B đang thắng 80%. Bạn sướng quá stop test và chọn B. Sai lầm! Đó có thể chỉ là may mắn nhất thời hoặc hiện tượng Randomness. Giống như tung đồng xu 10 lần thấy 7 lần ngửa, bạn kết luận đồng xu bị méo. Phải tung 1000 lần mới biết được.

Giải pháp: Tính toán Sample Size trước khi chạy. Ví dụ phải đủ 10,000 user mới được xem kết quả.

2. Test những thứ tủn mủn → Micro-optimization

Thay đổi màu nút từ Xanh Đậm sang Xanh Nhạt. Kết quả: Tăng 0.01% conversion. Có đáng công sức Dev code và QA test không? Không.

Lời khuyên: Hãy test những thay đổi lớn với Radical changes. Thay đổi cả bố cục, thay đổi Value Proposition. Go big or go home.

3. Nhìn nhầm Vanity Metrics

Bản B làm tăng số Click → CTR tăng lên 50%. Tuyệt vời? Nhưng chưa chắc. Nếu User click vào nhiều nhưng không mua hàng (CR giảm), thì bạn đang lừa User Clickbait. Doanh thu mới là cái cuối cùng quan trọng.

Học một chút về thống kê Statistical Significance
Độ tin cậy thống kê. Đừng để con số đánh lừa trực giác.

T.D