Pernahkah Anda mempresentasikan hasil dari kampanye pemasaran dan ditanya, “Tetapi apakah hasil ini signifikan secara statistik?” Sebagai pemasar berbasis data, kami tidak hanya diminta untuk mengukur hasil kampanye pemasaran kami tetapi juga untuk mendemonstrasikan validitas data — tepatnya apa signifikansi statistik itu.

Meskipun ada beberapa alat gratis di luar sana untuk menghitung signifikansi statistik untuk Anda (HubSpot bahkan memilikinya di sini), sangat membantu untuk memahami apa yang mereka hitung dan apa artinya semua itu. Di bawah ini, kami akan mempelajari angka-angka menggunakan contoh spesifik signifikansi statistik untuk membantu Anda memahami mengapa ini penting untuk kesuksesan pemasaran.

Apa itu signifikansi statistik?

Dalam pemasaran, signifikansi statistik adalah ketika hasil penelitian Anda menunjukkan bahwa hubungan antara variabel yang Anda uji (seperti tingkat konversi dan jenis halaman arahan) tidak acak; mereka saling mempengaruhi.

Dalam pemasaran, Anda ingin hasil Anda signifikan secara statistik karena itu berarti Anda tidak membuang-buang uang untuk kampanye yang tidak akan memberikan hasil yang diinginkan. Pemasar sering menjalankan tes signifikansi statistik sebelum meluncurkan kampanye untuk menguji apakah variabel tertentu lebih berhasil membawa hasil daripada yang lain.

Contoh Signifikansi Statistik

Katakanlah Anda akan menjalankan kampanye iklan di Facebook, tetapi Anda ingin memastikan Anda menggunakan iklan yang kemungkinan besar membawa hasil yang diinginkan. Jadi, Anda menjalankan pengujian A/B selama 48 jam dengan iklan A sebagai variabel kontrol, dan B sebagai variasinya. Ini adalah hasil yang saya dapatkan:

Iklan

Tayangan

Konversi

Iklan A

6.000

430

Iklan B

5869

560

Meskipun kita dapat melihat berdasarkan angka bahwa iklan B menerima lebih banyak konversi, Anda ingin yakin bahwa perbedaan konversi itu signifikan, dan bukan karena kebetulan. Jika saya memasukkan angka-angka ini ke dalam kalkulator uji chi-kuadrat (lebih lanjut tentang itu nanti), p-value saya adalah 0.0, artinya hasil saya signifikan, dan ada perbedaan performa antara iklan A dan iklan B yang bukan karena kebetulan.

Ketika saya menjalankan kampanye saya yang sebenarnya, saya ingin menggunakan iklan B.

Jika Anda seperti saya, Anda memerlukan penjelasan lebih lanjut tentang apa arti nilai-p dan 0,0, jadi kita akan membahas contoh mendalam di bawah ini.

Cara Menghitung Signifikansi Statistik

Tentukan apa yang ingin Anda uji. Tentukan hipotesis Anda. Mulai mengumpulkan data. Hitung hasil Chi-Squared. Hitung hasil yang Anda harapkan. Lihat bagaimana hasil Anda berbeda dari yang Anda harapkan. Temukan jumlah Anda. Laporkan signifikansi statistik kepada tim Anda.

1. Tentukan apa yang ingin Anda uji.

Pertama, putuskan apa yang ingin Anda uji. Ini dapat membandingkan rasio konversi pada dua halaman arahan dengan gambar yang berbeda, rasio klik-tayang pada email dengan baris subjek yang berbeda, atau rasio konversi pada tombol ajakan bertindak yang berbeda di akhir posting blog. Pilihannya tidak terbatas.

Saran saya adalah membuatnya tetap sederhana; pilih bagian konten yang ingin Anda buat dengan dua variasi berbeda dan tentukan tujuan Anda — rasio konversi yang lebih baik atau lebih banyak tampilan adalah tempat yang baik untuk memulai.

Anda tentu dapat menguji variasi tambahan atau bahkan membuat pengujian multivarian, tetapi, untuk contoh ini, kami akan tetap menggunakan dua variasi laman landas dengan sasaran meningkatkan rasio konversi. Jika Anda ingin mempelajari lebih lanjut tentang pengujian A/B dan pengujian multivarian, lihat “Perbedaan Penting Antara Pengujian A/B dan Multivarian.”

2. Tentukan hipotesis Anda.

Sebelum saya mulai mengumpulkan data, saya merasa terbantu untuk menyatakan hipotesis saya di awal tes dan menentukan tingkat kepercayaan yang ingin saya uji. Karena saya sedang menguji halaman arahan dan ingin melihat apakah ada yang berkinerja lebih baik, saya berhipotesis bahwa ada hubungan antara halaman arahan yang diterima pengunjung dan tingkat konversi mereka.

3. Mulai kumpulkan data Anda.

Sekarang setelah Anda menentukan apa yang ingin Anda uji, saatnya untuk mulai mengumpulkan data Anda. Karena Anda mungkin menjalankan tes ini untuk menentukan konten mana yang terbaik untuk digunakan di masa mendatang, Anda sebaiknya mengambil ukuran sampel. Untuk halaman arahan, itu mungkin berarti memilih jumlah waktu yang ditentukan untuk menjalankan pengujian Anda (misalnya, membuat halaman Anda aktif selama tiga hari).

Untuk sesuatu seperti email, Anda dapat memilih sampel acak dari daftar Anda untuk mengirim variasi email Anda secara acak. Menentukan ukuran sampel yang tepat bisa jadi rumit, dan ukuran sampel yang tepat akan bervariasi di antara setiap pengujian. Sebagai aturan umum, Anda ingin nilai yang diharapkan untuk setiap variasi lebih besar dari 5. (Kami akan membahas nilai yang diharapkan lebih jauh.)

4. Hitung hasil Chi-Squared.

Ada beberapa pengujian statistik berbeda yang dapat Anda jalankan untuk mengukur signifikansi data Anda, dan memilih salah satunya bergantung pada apa yang Anda coba uji dan jenis data yang akan Anda kumpulkan. Dalam kebanyakan kasus, Anda akan menggunakan uji Chi-Squared karena datanya diskrit.

Diskrit adalah cara yang bagus untuk mengatakan bahwa eksperimen Anda dapat menghasilkan sejumlah hasil yang terbatas. Misalnya, pengunjung akan mengonversi atau tidak mengonversi; tidak ada berbagai tingkat konversi untuk satu pengunjung.

Anda dapat menguji berdasarkan berbagai tingkat kepercayaan (kadang-kadang disebut sebagai alfa tes). Jika Anda ingin persyaratan untuk mencapai signifikansi statistik menjadi tinggi, alfa Anda akan lebih rendah. Anda mungkin telah melihat signifikansi statistik yang dilaporkan dalam hal kepercayaan.

Misalnya, “Hasilnya signifikan secara statistik dengan kepercayaan 95%.” Dalam skenario ini, alfa adalah 0,05 (kepercayaan dihitung sebagai satu dikurangi alfa), yang berarti ada satu dari 20 peluang untuk membuat kesalahan dalam hubungan yang dinyatakan.

Setelah saya mengumpulkan data, saya memasukkannya ke dalam bagan agar mudah diatur. Karena saya menguji dua variasi berbeda (A dan B) dan ada dua kemungkinan hasil (dikonversi, tidak dikonversi), saya akan memiliki bagan 2×2. Saya akan menjumlahkan setiap kolom dan baris sehingga saya dapat dengan mudah melihat hasilnya secara agregat.

Setelah saya membuat bagan, langkah selanjutnya adalah menjalankan persamaan menggunakan rumus kai kuadrat.

Rumus Signifikansi Statistik

Gambar di bawah adalah rumus chi-kuadrat untuk signifikansi statistik:

Dalam persamaan,

berarti jumlah, O = yang diamati, nilai aktual, E = nilai yang diharapkan.

Saat menjalankan persamaan, Anda menghitung semuanya setelah untuk setiap pasangan nilai dan kemudian menjumlahkan (menjumlahkan) semuanya.

5. Hitung nilai yang Anda harapkan.

Sekarang, saya akan menghitung berapa nilai yang diharapkan. Jika tidak ada hubungan antara apa yang dilihat pengunjung laman landas dan rasio konversi mereka dalam contoh di atas, kita akan mengharapkan rasio konversi yang sama dengan versi A dan B. Dari totalnya, kita dapat melihat bahwa 1.945 orang berkonversi dari 4.935 total pengunjung, atau sekitar 39% pengunjung.

Untuk menghitung frekuensi yang diharapkan (E dalam rumus chi-kuadrat) untuk setiap versi laman landas, kita dapat mengalikan total baris untuk sel tersebut dengan total kolom dan membaginya dengan jumlah total pengunjung. Dalam contoh ini, untuk mencari nilai konversi yang diharapkan pada versi A, saya akan menggunakan persamaan berikut:

(1945*2401)/4935 = 946

6. Lihat bagaimana hasil Anda berbeda dari apa yang Anda harapkan.

Untuk menghitung Chi-Square, saya membandingkan frekuensi yang diamati (O dalam persamaan chi-kuadrat) dengan frekuensi yang diharapkan (E dalam persamaan chi-kuadrat). Perbandingan ini dilakukan dengan mengurangi yang diamati dari nilai yang diharapkan, mengkuadratkan hasilnya, dan membaginya dengan nilai frekuensi yang diharapkan.

Pada dasarnya, saya mencoba melihat betapa berbedanya hasil aktual saya dari apa yang mungkin kita harapkan. Mengkuadratkan perbedaan memperkuat efek perbedaan, dan membagi dengan apa yang diharapkan menormalkan hasilnya. Sebagai penyegaran, Persamaannya terlihat seperti ini: (diamati – diharapkan)*2)/diharapkan

7. Temukan jumlah Anda.

Saya kemudian menjumlahkan empat hasil untuk mendapatkan nomor Chi-Square saya. Dalam hal ini, itu 0,95. Untuk melihat apakah tingkat konversi halaman arahan saya berbeda dengan signifikansi statistik, saya membandingkannya dengan nilai dari a Tabel distribusi Chi-Squared berdasarkan alpha saya (dalam hal ini, .05) dan derajat kebebasan.

Derajat kebebasan didasarkan pada berapa banyak variabel yang Anda miliki. Dengan tabel 2×2 seperti pada contoh ini, derajat kebebasannya adalah 1.

Dalam hal ini, nilai Chi-Square harus sama dengan atau melebihi 3,84 agar hasilnya signifikan secara statistik. Karena 0,95 kurang dari 3,84, hasil saya tidak berbeda secara statistik. Ini berarti bahwa tidak ada hubungan antara versi halaman arahan yang diterima pengunjung dan tingkat konversi dengan signifikansi statistik.

8. Laporkan signifikansi statistik kepada tim Anda.

Setelah menjalankan eksperimen Anda, langkah selanjutnya adalah melaporkan hasil Anda ke tim Anda untuk memastikan semua orang memiliki pemahaman yang sama tentang langkah selanjutnya. Jadi, melanjutkan contoh sebelumnya, saya perlu memberi tahu tim saya bahwa jenis halaman arahan yang kami gunakan dalam kampanye mendatang tidak akan memengaruhi tingkat konversi kami karena hasil pengujian kami tidak signifikan.

Jika hasilnya signifikan, saya akan memberi tahu tim saya bahwa laman landas versi A berkinerja lebih baik daripada yang lain, dan kami harus memilih untuk menggunakannya dalam kampanye mendatang.

Mengapa Signifikansi Statistik Signifikan

Anda mungkin bertanya pada diri sendiri mengapa ini penting jika Anda bisa menggunakan alat gratis untuk menjalankan perhitungan. Memahami bagaimana signifikansi statistik dihitung dapat membantu Anda menentukan cara terbaik menguji hasil dari eksperimen Anda sendiri.

Banyak alat menggunakan tingkat kepercayaan 95%, tetapi untuk eksperimen Anda, mungkin masuk akal untuk menggunakan tingkat kepercayaan yang lebih rendah jika Anda tidak memerlukan pengujian yang terlalu ketat.

Memahami perhitungan yang mendasari juga membantu Anda menjelaskan mengapa hasil Anda mungkin signifikan bagi orang yang belum terbiasa dengan statistik.

Jika Anda ingin mengunduh spreadsheet yang saya gunakan dalam contoh ini sehingga Anda dapat melihat perhitungannya sendiri, klik disini.

Catatan Editor: Posting blog ini awalnya diterbitkan pada April 2013, tetapi diperbarui pada September 2021 untuk kesegaran dan kelengkapan.

Sumber Artikel