Apa itu Tes A/A & Apakah Anda Benar-Benar Perlu Menggunakannya?

Apa yang lebih buruk daripada bekerja tanpa data?

Bekerja dengan data “buruk”.

Sebagai pemasar, kami senang menguji berita utama, ajakan bertindak, dan kata kunci (untuk beberapa nama). Salah satu cara kami melakukannya adalah dengan menjalankan pengujian A/B.

Sebagai penyegar, Pengujian A/B adalah proses membagi audiens untuk menguji sejumlah variasi kampanye dan menentukan mana yang berkinerja lebih baik.

Tetapi pengujian A/B tidak mudah.

Sebenarnya, ini adalah proses yang rumit. Anda sering kali harus mengandalkan perangkat lunak pengujian untuk menarik data, dan ada kemungkinan besar untuk menerima hasil positif palsu. Jika Anda tidak hati-hati, Anda bisa membuat asumsi yang salah tentang apa yang membuat orang mengklik.

Jadi bagaimana Anda bisa memastikan pengujian A/B Anda beroperasi dengan benar? Di sinilah pengujian A/A masuk. Anggap saja sebagai ujian untuk ujian.

Apa itu Tes A/A?

Tes A/A melibatkan mengarahkan dua atau lebih kelompok orang ke versi konten yang identik. Alih-alih menemukan peningkatan dalam konversi, tujuannya adalah untuk tidak menemukan perbedaan antara kontrol dan variasi.

Gagasan di balik tes A/A adalah pengalaman yang sama untuk setiap kelompok, oleh karena itu KPI (Indikator Kinerja Utama) yang diharapkan juga akan sama untuk setiap kelompok.

Misalnya, jika 20% grup A mengisi formulir di halaman landing, hasil yang diharapkan adalah 20% grup B (yang berinteraksi dengan versi halaman landing yang sama) akan melakukan hal yang sama.

Perbedaan Antara Tes A/A dan Tes A/B

Melakukan pengujian A/A mirip dengan pengujian A/B; audiens dibagi menjadi dua grup berukuran sama, tetapi alih-alih mengarahkan setiap grup ke variasi konten yang berbeda, setiap grup berinteraksi dengan versi konten yang sama.

Inilah cara lain untuk memikirkannya: pernahkah Anda mendengar ungkapan, “Membandingkan apel dengan jeruk”? Pengujian A/B melakukan persis seperti itu — membandingkan dua varian berbeda dari suatu konten untuk melihat mana yang berkinerja lebih baik. Tes A/A membandingkan apel dengan, yah, apel yang identik.

Saat menjalankan pengujian A/B, Anda memprogram alat pengujian untuk mengubah atau menyembunyikan beberapa bagian konten. Ini tidak diperlukan untuk pengujian A/A.

Pengujian A/A juga memerlukan ukuran sampel yang lebih besar daripada pengujian A/B untuk membuktikan bias yang signifikan. Dan, karena ukuran sampel yang begitu besar, tes ini membutuhkan waktu lebih lama untuk diselesaikan.

Bagaimana Melakukan Pengujian A/A

Persisnya bagaimana Anda melakukan A/A akan bervariasi tergantung pada alat pengujian Kau gunakan. Jika Anda adalah pelanggan HubSpot Enterprise yang melakukan pengujian A/A atau A/B pada email, misalnya, HubSpot akan secara otomatis membagi lalu lintas ke variasi Anda sehingga setiap variasi menerima sampel pengunjung secara acak.

Mari kita bahas langkah-langkah untuk menjalankan pengujian A/A.

1. Buat dua versi konten yang identik — kontrol dan varian.

Setelah konten Anda dibuat, identifikasi dua kelompok dengan ukuran sampel yang sama yang ingin Anda gunakan untuk melakukan pengujian.

2. Identifikasi KPI Anda.

KPI adalah ukuran kinerja selama periode waktu tertentu. Misalnya, KPI Anda dapat berupa jumlah pengunjung yang mengklik ajakan bertindak.

3. Dengan menggunakan alat pengujian Anda, bagi audiens Anda secara merata dan acak, dan kirim satu grup ke kontrol dan grup lainnya ke varian.

Jalankan tes sampai kontrol dan variasi mencapai jumlah pengunjung yang ditentukan.

4. Lacak KPI untuk kedua grup.

Karena kedua grup dikirim ke konten yang identik, mereka harus berperilaku sama. Oleh karena itu, hasil yang diharapkan tidak akan meyakinkan.

Penggunaan Tes A/A

Pengujian A/A terutama digunakan ketika sebuah organisasi mengimplementasikan perangkat lunak pengujian A/B baru atau mengonfigurasi ulang yang sekarang.

Anda dapat menjalankan pengujian A/A untuk melakukan hal berikut:

1. Untuk memeriksa keakuratan perangkat lunak pengujian A/B.

Hasil yang diinginkan dari pengujian A/A adalah bahwa penonton bereaksi serupa terhadap konten yang sama.

Tapi bagaimana jika mereka tidak melakukannya?

Berikut ini contohnya: Perusahaan XYZ menjalankan pengujian A/A pada halaman arahan baru. Dua grup dikirim ke dua versi laman landas yang identik (kontrol dan varian). Grup A memiliki tingkat konversi 8%, sedangkan Grup B memiliki tingkat 2%.

Secara teori, tingkat konversi harus identik. Ketika tidak ada perbedaan antara kontrol dan varian, hasil yang diharapkan tidak akan meyakinkan. Namun, terkadang “pemenang” dinyatakan pada dua versi yang identik.

Ketika ini terjadi, penting untuk mengevaluasi platform pengujian. Alat ini mungkin salah dikonfigurasi, atau mungkin tidak efektif.

2. Untuk menetapkan tingkat konversi dasar untuk pengujian A/B di masa mendatang.

Mari kita bayangkan bahwa Perusahaan XYZ menjalankan pengujian A/A lain di halaman arahan. Kali ini, hasil Grup A dan Grup B identik — kedua grup mencapai tingkat konversi 8%.

Oleh karena itu, 8% adalah tingkat konversi dasar. Dengan mengingat hal ini, perusahaan dapat menjalankan pengujian A/B di masa mendatang dengan tujuan melebihi tingkat ini.

Jika, misalnya, perusahaan menjalankan pengujian A/B pada versi baru laman landas dan menerima tingkat konversi 8,02%, hasilnya tidak signifikan secara statistik.

Pengujian A/A: Apakah Anda Benar-Benar Perlu Menggunakannya?

Untuk menjalankan tes A/A, atau tidak — itulah pertanyaannya. Dan jawabannya akan tergantung pada siapa Anda bertanya. Tidak dapat disangkal bahwa pengujian A/A adalah topik yang hangat diperdebatkan.

Mungkin argumen paling umum menentang pengujian A/A bermuara pada satu faktor: waktu.

Pengujian A/A membutuhkan banyak waktu untuk dijalankan. Faktanya, pengujian A/A biasanya memerlukan ukuran sampel yang jauh lebih besar daripada pengujian A/B. Saat menguji dua versi yang identik, Anda memerlukan ukuran sampel yang besar untuk membuktikan bias yang signifikan. Oleh karena itu, tes akan membutuhkan lebih banyak waktu untuk diselesaikan, dan ini mungkin memakan waktu yang dihabiskan untuk menjalankan tes berharga lainnya.

Namun, masuk akal untuk menjalankan pengujian A/A dalam beberapa kasus, terutama jika Anda tidak yakin tentang perangkat lunak pengujian A/B yang baru dan menginginkan bukti tambahan bahwa itu berfungsi dan akurat. Pengujian A/A adalah metode berisiko rendah untuk memastikan pengujian Anda diatur dengan benar.

Pengujian A/A dapat membantu Anda mempersiapkan program pengujian AB yang sukses, memberikan tolok ukur data, dan mengidentifikasi setiap perbedaan dalam data Anda.

Meskipun pengujian A/A memiliki kegunaan, menjalankan pengujian semacam itu seharusnya merupakan kejadian yang relatif jarang terjadi. Meskipun pengujian A/A dapat menjalankan “pemeriksaan kesehatan” pada alat atau perangkat lunak A/B baru, mungkin tidak ada gunanya mengoptimalkan setiap perubahan kecil pada situs web atau kampanye pemasaran Anda karena cukup banyak waktu yang diperlukan untuk menjalankannya.

Sumber Artikel