Bagaimana Signifikansi Statistik Mendukung Pemasaran Digital

Jangan pernah membuat keputusan penting tanpa memeriksa fakta sebelumnya.

Apakah Anda akan melakukan bungee jump tanpa memeriksa kabelnya terlebih dahulu? Menyeberang jalan tanpa terlebih dahulu mencari lalu lintas? Atau mengganti sekering hidup tanpa memeriksa daya dimatikan?

Mengambil keputusan tanpa terlebih dahulu memeriksa fakta bisa menjadi sangat mahal, namun kita sering melihat ini terjadi di sektor pemasaran digital.

Bagaimana Statistik Bisa Membohongi Anda

Saat melihat perbedaan statistik, tren dan kausalitas, jika Anda tidak memiliki informasi yang cukup, mudah untuk mendapatkan gambaran yang salah.

Pertimbangkan lemparan koin sederhana: Melempar koin sepuluh kali dapat mendaratkan koin enam kali di kepala dan empat kali di ekor. Apakah ini berarti bahwa lemparan koin menghasilkan 60% dari waktu? Anda perlu melempar koin berkali-kali untuk mendapatkan gambaran yang jelas tentang seberapa besar kemungkinannya untuk muncul.

Memplot beberapa simulasi lemparan koin pada grafik menunjukkan bahwa bahkan setelah 50 lemparan koin, Anda mungkin jauh dari jawaban sebenarnya dari probabilitas 50%:

Bahkan setelah 1.000 lemparan koin, jawabannya sering ditemukan antara 48%-52% yaitu ±2% di sekitar jawaban yang sebenarnya:

Tanpa sejumlah besar tes, Anda tidak mungkin dapat mengetahui apa jawaban sebenarnya, dan akan sangat bodoh untuk membuat kesimpulan tanpa ilmiah dan mendapatkan cukup fakta sebelum membuat kesimpulan.

Tabloid sering menggunakan statistik yang tidak meyakinkan atau miring untuk mendukung klaim yang rumit seperti “ Minum X Menyembuhkan Kanker! “, “ Vitamin X Membalikkan Kebotakan! ” atau “ Makan X Akan Membuat Anda Menurunkan Berat Badan! “. Anda dapat dengan mudah membuat klaim ini hanya dengan memiliki grup pengujian kecil sehingga Anda memiliki data "berisik", statistik sangat tidak meyakinkan sehingga mereka dapat berayun ke arah mana pun dan membuktikan apa yang ingin Anda buktikan jika Anda cukup beruntung. Kasus yang terkenal adalah dari John Bohannon, yang membodohi jutaan orang dan publikasi besar dengan berpikir bahwa cokelat membantu menurunkan berat badan.

Memfilter subjek tes juga dapat mengubah statistik secara liar. Misalnya, banyak pemasar produk perawatan rambut akan mewawancarai pelanggan yang telah membeli produk, diberikan produk secara gratis, atau yang memiliki minat yang sama terhadap produk di masa lalu. Mereka kemudian ditanya apakah mereka akan merekomendasikan produk tersebut kepada teman atau keluarga mereka. Hasilnya tidak mengejutkan positif dengan hasil yang umumnya melampaui peringkat persetujuan 80% yang kemudian dapat ditambahkan ke materi pemasaran dengan jumlah subjek tes yang mengesankan.

Bagaimana Signifikansi Statistik Rendah Dapat Menghasilkan Keputusan Pemasaran Digital yang Buruk

Banyak pekerjaan pemasaran digital dimulai dengan beberapa keputusan dasar – Apa yang harus kita habiskan untuk menguji waktu? Tugas mana yang perlu dilakukan terlebih dahulu? Kami kemudian mengidentifikasi hasil yang dihasilkan dari setiap perubahan yang dibuat.

Mari kita lihat tiga bidang pemasaran digital di mana signifikansi statistik yang rendah dapat memiliki dampak negatif secara keseluruhan, terlepas dari upaya terbaik pemasar untuk memperbaiki keadaan:

Perubahan Salah yang Dibuat di Akun Iklan Berbayar Online

Dengan iklan berbayar, Anda memasukkan uang Anda sendiri sebelum mendapatkan laba atas investasi. Risiko kehilangan uang secara keseluruhan merupakan penyebab kekhawatiran bagi sebagian besar pemilik bisnis online, yang dapat menyebabkan beberapa keputusan terburu-buru dalam akun iklan berbayar online.

Misalnya, sangat mudah untuk melihat statistik kampanye, menganggap bahwa kinerjanya tidak sebaik yang diharapkan, dan menghapus kampanye tersebut sehingga tidak lagi 'membuang' biaya iklan. Namun jika kampanye tersebut dibuat untuk menargetkan orang yang tepat dengan benar, maka kampanye tersebut kemungkinan besar tidak akan sia-sia. Seringkali tidak ada cukup klik untuk melihat apakah itu bisa menghasilkan penjualan. Jika satu penjualan dibuat untuk setiap lima puluh klik, maka akan menjadi keputusan yang terburu-buru untuk menyerah pada kampanye yang memiliki kurang dari 100 klik, karena mungkin saja tidak beruntung karena tidak melakukan penjualan.

Sebelum membuat keputusan dalam iklan berbayar, Anda perlu mempertimbangkan tiga hal:

1. Apakah lalu lintas cukup (cukup subjek tes)?
2. Apakah ada cukup konversi (cukup sasaran pengujian)?
3. Apakah data miring dengan cara apa pun?

Melihat statistik iklan berbayar tanpa lalu lintas yang cukup dapat membuat Anda percaya bahwa ada sesuatu yang jauh lebih baik daripada yang sebenarnya. Misalnya, yang ditampilkan di bawah ini adalah data dari kampanye yang berbeda di mana satu kampanye cukup beruntung memiliki enam konversi hanya dalam dua puluh klik. Hal ini dapat membuat pengelola akun berpikir bahwa kampanye ini layak untuk menghabiskan lebih banyak uang, padahal sebenarnya kampanye ini mungkin berkinerja serupa dengan kampanye lain dengan lebih banyak lalu lintas:

Dengan jumlah konversi yang rendah, Anda banyak yang tidak tahu seberapa baik kinerja iklan berbayar kecuali Anda mendapatkan lebih banyak lalu lintas secara signifikan lagi. Ini mungkin karena waktu yang berlalu tidak cukup untuk mendapatkan data yang cukup atau tingkat konversi yang rendah yang membutuhkan banyak pengunjung untuk mendapatkan rata-rata satu konversi:

Satu pertimbangan terakhir adalah memikirkan bagaimana statistik dapat dimiringkan dalam rentang tanggal yang berbeda atau dengan segmen orang yang berbeda yang diiklankan. Mungkin ada beberapa perubahan musiman besar yang dapat mengubah statistik. Misalnya, lihat berapa banyak penelusuran Google untuk "kacamata hitam" vs. "mantel" tahun lalu di Inggris Raya:

Di bawah ini adalah data lalu lintas nyata untuk situs web yang menjual bunga yang dikirim secara online. Perhatikan bahwa jumlah klik meningkat serta tingkat konversi – kemungkinan penjualan – beberapa hari sebelum Hari Ibu tahun lalu, yang terjadi pada hari Minggu 15 Maret:

Jadi untuk mengatasi semua masalah ini saat mengoptimalkan akun iklan berbayar, Anda harus memiliki lalu lintas dan konversi yang cukup sebelum membuat keputusan besar. Juga perlu diingat bahwa Anda mungkin melihat data miring.

Jika Anda tidak memiliki lalu lintas atau konversi yang cukup, Anda dapat melihat metrik situs web seperti halaman per sesi atau durasi sesi rata-rata untuk melihat seberapa terlibat pengunjung melalui saluran yang berbeda. Ini memungkinkan Anda membuat keputusan lebih cepat tetapi Anda masih memerlukan proporsi klik yang baik sebelum Anda dapat mulai mendapatkan gambaran yang lebih jelas.

Jika ada tren musiman positif atau negatif, cobalah untuk melihat statistik di sekitar periode itu atau ambil statistik dari periode yang sama tahun lalu jika Anda memilikinya.

Asumsi yang Salah Tentang Peringkat Mesin Pencari

Optimisasi mesin pencari (SEO) adalah topik yang kompleks dengan banyak orang mempercayai banyak mitos SEO dan menggunakan praktik buruk untuk mencoba dan mengungguli pesaing di mesin pencari.

Kami terkadang mendengar pembicaraan bahwa perubahan tertentu pada situs web atau tautan eksternal tertentu ke situs web telah menghasilkan efek baik atau buruk pada SEO. Pernyataan seperti “Kami mendapat tautan dari situs web X dan melihat peningkatan penjualan sebesar X%” atau “Kami mengubah X di situs web dan kemudian kehilangan X jumlah lalu lintas setiap bulan” dapat menimbulkan keyakinan kuat bahwa taktik SEO tertentu harus bagus atau merugikan lalu lintas atau penjualan secara keseluruhan.

Peringkat mesin pencari bergantung pada ratusan faktor, kombinasi dari banyak sinyal berbobot berbeda untuk menentukan halaman mana dari jutaan halaman yang berpotensi relevan secara online untuk ditempatkan di urutan teratas hasil. Peningkatan atau penurunan peringkat dapat disebabkan oleh berbagai alasan berbeda yang mungkin tidak terkait dengan aktivitas SEO apa pun, seperti:

• Situs web kuat yang dihapus dari internet dapat meningkatkan peringkat ke situs web di bawahnya
• Pesaing baru yang kuat dapat mengurangi peringkat semua orang dengan mengambil posisi nomor satu
• Google mungkin menganggap faktor peringkat SEO tertentu lebih atau kurang penting dari sebelumnya
• Pesaing dapat memperoleh atau kehilangan backlink eksternal, yang memainkan peran besar dalam SEO
• Berita atau video yang sedang tren tentang suatu topik dapat muncul di atas daftar mesin pencari alami suatu hari nanti

Ini hanyalah beberapa dari banyak cara kekuatan eksternal dapat mempengaruhi peringkat situs web tanpa membuat perubahan apa pun pada situs web itu sendiri. Jadi mungkin kebetulan bahwa perubahan tertentu memiliki dampak baik atau buruk pada SEO kecuali ada sejumlah besar data untuk mendukung klaim.

Penting untuk mengetahui perbedaan antara sebab-akibat dan korelasi dalam statistik. Jika Anda memiliki situs web dengan lalu lintas tinggi, cukup dengan melihat grafik yang menunjukkan jumlah sesi organik dapat mengungkapkan perubahan besar:

Jika Anda tidak memiliki lalu lintas dalam jumlah besar, gunakan saja praktik SEO dan kegunaan terbaik di situs web Anda dan mintalah seorang ahli untuk melakukan tinjauan situs web lengkap untuk memeriksa ulang apakah semuanya sudah siap.

Mengakhiri Tes Terpisah Sebelum Tes Berjalan Run

Pengujian pemisahan A/B atau multi-varian dapat kembali membutuhkan lalu lintas dalam jumlah besar sebelum variasi yang unggul dapat ditemukan. Untungnya matematika kompleks di balik signifikansi statistik secara otomatis dihitung di semua perangkat lunak pengujian split utama:

Dengan tergesa-gesa, Anda dapat mengakhiri eksperimen dengan kepastian 80% -90% bahwa satu varian lebih baik dari yang lain menurut statistik yang ditampilkan. Kami telah melihat tes terpisah menentukan bahwa satu variasi lebih dari 90% pasti menang, hanya untuk itu benar-benar kalah secara keseluruhan ketika cukup banyak data dikumpulkan:

Saya akan selalu merekomendasikan menunggu sampai hasilnya lebih dari 99% signifikan sebelum sampai pada kesimpulan yang berpotensi salah. Jika situs web diubah ke varian yang lebih buruk, itu bisa menjadi langkah mundur permanen dalam hal seberapa baik ia dapat mengonversi.

Anda dapat mengambil risiko hanya mendapatkan kepastian 95% jika tingkat lalu lintas rendah, tetapi ingat bahwa ada risiko 5% bahwa Anda melihat negatif palsu – 1 dari 20 kali hasilnya akan berlawanan dengan apa yang dilaporkan.

Berikut adalah beberapa kiat cepat untuk pengujian terpisah dengan tingkat lalu lintas rendah:

• Uji perubahan besar terlebih dahulu karena ini kemungkinan besar menghasilkan rasio konversi yang berbeda dan mengakhiri keseluruhan eksperimen lebih cepat
• Mulai halaman web pengujian terpisah sedini mungkin, diperlukan waktu kurang dari satu jam untuk menyiapkan menggunakan alat seperti Pengoptimal Situs Web Visual (mudah digunakan, bayar untuk digunakan) atau Eksperimen Konten Google (memerlukan pengembangan, hanya pengujian A/B/N, bebas untuk digunakan)
• Uji berbagai tahapan situs web Anda secara bersamaan – untuk situs web e-niaga, Anda dapat menguji beranda, halaman kategori, halaman produk, halaman keranjang, halaman checkout, dan halaman sukses secara bersamaan dan memiliki peningkatan persentase rasio konversi gabungan

Jika tingkat lalu lintas Anda cukup besar, mengapa tidak menguji kepastian 99,9%? Anda bahkan dapat mengelompokkan sebagian kecil pengunjung untuk diuji sehingga hasil keseluruhan tidak terlalu berdampak jika eksperimen menghasilkan hasil yang lebih buruk daripada varian aslinya.

Kesimpulan

Kumpulkan informasi sebanyak mungkin sebelum membuat keputusan pemasaran digital berdasarkan statistik, yang biasanya membutuhkan banyak subjek uji (pengunjung). Sampah dalam menghasilkan sampah keluar dalam hal statistik, jadi jangan membodohi diri sendiri dengan mengambil tindakan yang berpotensi membahayakan kecuali Anda sangat yakin bahwa hal-hal berubah menjadi lebih baik atau lebih buruk.

Bagaimana Signifikansi Statistik Mendukung Pemasaran Digital – https://t.co/0xhxsqHJNl #ppcchat

— Jonathan Ellins (@Jonathan_Ellins) 25 Februari 2016