3 Kesalahan Umum A/B Testing Yang Sering Terjadi Dalam Ecommerce

Pengujian merupakan tahap dasar untuk mengoptimalkan tingkat konversi. Jika dilakukan dengan baik, A/B testing bisa membantu ecommerce marketers untuk menentukan desain landing page mana yang terbaik, navigasi mana yang terbaik, atau bahkan menentukan di mana posisi elemen halaman yang baik.

Tapi sayangnya ada 3 masalah umum yang sering terjadi dalam A/B testing yang bisa menyebabkan hasil tidak akurat, dan mungkin saja keputusan yang buruk. Hindari 3 kesalahan-kesalahan berikut ini dalam A/B testing.

1. Fluktuasi acak

Fluktuasi statistik, atau yang sering disebut fluktuasi acak adalah perubahan acak dalam satu set data yang yang tidak ada hubungannya dengan pengukuran stimulus.

Contoh fluktuasi acak adalah lempar koin. Banyak penelitian menunjukan bahwa dalam sebuah lempar koin atau serangkaian lempar koin, sisi depan (heads) akan muncul dengan rasio 1/2 dari total pelemparan. Begitu pun dengan sisi belakang koin (tails) akan muncul 1/2 dari total pelemparan.

Jika tidak percaya, cobalah lempar koin skitar 100.000 kali, catat hasilnya. Kamu akan menemukan bahwa sisi depan koin (heads) muncul skitar 50.000 kali.

Hal ini bisa juga terjadi pada A/B testing. Bayangkan seorang marketer melakukan A/B testing untuk mengubah landing page. Dia mendapatkan sampel dari 500 orang dan hasilnya menunjukan bahwa perubahan tersebut bisa meningkatkan konversi sebesar 20%. Apakah itu valid? Bisakah kita mendapatkan hasil yang sama jika tidak ada perbedaan dalam perbedaan yang nyata pada hal-hal yang dibandingkan? Jawabannya mungkin iya, kita mungkin akan mendapatkan fluktuasi acak sebesar 20%.

Jadi bagaimana menghindari masalah seperti ini? Jalankan A/B testing sampai jumlah signifikan orang yang berpartisipasi dalam setiap cabang benar-benar tepat.

2. Tidak meneliti data untuk perbedaan yang tak terduga

Ketika seorang marketer menggunakan A/B testing untuk mengoptimalkan tingkat konversi, sering kali yang diperiksa adalah tingkan konversi yang baik. Tapi hal ini juga bisa menyebabkan hasil yang buruk.

Bayangkan sebuah toko online yang baru saja mengeluarkan banyak uang untuk membuat versi mobile dari situs ecommerce mereka. Sebelum versi mobile ini diluncurkan, retailer melakukan A/B testing untuk memastikan bahwa setiap cabang (A dan B) memiliki cukup banyak poin data (pengguna). Alternatif pengunjung situs juga ditampilkan dikedua situs, baik itu di situs yang lama atau di situs mobile yang baru.

Ketika tes selesai, ternyata data menunjukkan bahwa versi mobile sebenarnya mengurangi tingkat konversi sebesar 6%. Jika retailer berhenti disini, mungkin versi mobile tidak akan pernah diluncurkan, karena khawatir bahwa penjualan akan turun secara signifikan.

Tapi setelah diperiksa lebih lanjut, ada kesalahan fatal dalam tahap pengujian. Tidak ada bahan pertimbangan jenis perangkat yang digunakan pengunjung.

Untuk menghindari kesalahan semacam ini, hati-hati dalam memeriksa semua data yang ada dan jangan hanya fokus pada tingkat konversi.

3. Terlalu banyak variabel pengujian

Salah satu A/B testing yang paling umum dilakukan oleh bisnis ecommerce adalah untuk mendesain ulang situs. Misalnya, merchants ingin menentukan apakah checkout yang baru bekerja lebih baik daripada yang lama (dan benar-benar berbeda).

Ini adalah bagian dari pengujian, jika dilakukan dengan baik bisa memberikan beberapa wawasan yang baik juga. Tapi jika halaman yang dibandingkan sangat berbeda, pengujian mungkin akan terlalu banyak menggunakan variabel pengukuran.

Cobalah untuk mengatur A/B testing sehingga bisa untuk mengukur atau menguji menggunakan sedikit perbedaan yang signifikan dalam dua atau lebih halaman. Kuncinya adalah uji hanya pada variabel-variabel yang termasuk penting, karena kita bisa membuang-buang banyak waktu pengujian dengan hal yang tidak (kurang penting).

Itulah 3 masalah (kesalahan) A/B testing yang sering terjadi dalam ecommerce. Semoga ini bisa memberikan gambaran atau referensi agar terhindar dari kesalahan-kesalahan tersebut. Semoga bermanfaat.