Comment la signification statistique sous-tend le marketing numérique

Ne prenez jamais une décision importante sans vérifier les faits au préalable.

Souhaitez-vous sauter à l'élastique sans vérifier le cordon d'abord ? Traverser la route sans chercher d'abord la circulation ? Ou changer un fusible sous tension sans vérifier que l'alimentation est coupée ?

Prendre une décision sans vérifier au préalable les faits peut s'avérer très coûteux, mais nous voyons souvent cela se produire dans le secteur du marketing numérique.

Comment les statistiques peuvent vous mentir

Lorsque vous examinez les différences statistiques, les tendances et les causalités, si vous ne disposez pas de suffisamment d'informations, il est facile de se tromper.

Considérez un simple tirage au sort : lancer une pièce dix fois peut faire atterrir la pièce six fois sur pile et quatre fois sur pile. Cela signifie-t-il qu'un tirage au sort renvoie face 60 % du temps ? Vous auriez besoin de lancer une pièce plusieurs fois pour avoir une idée claire de la probabilité qu'elle fasse tourner les têtes.

Tracer quelques simulations de tirages au sort sur un graphique montre que même après 50 tirages au sort, vous pouvez être loin de la vraie réponse de 50 % de probabilité :

Même après 1 000 lancers de pièces, la réponse se situe souvent entre 48 % et 52 %, soit ± 2 % autour de la réponse réelle :

Sans un grand nombre de tests, il n'y a aucun moyen de savoir quelle est la vraie réponse, et il serait insensé de tirer des conclusions sans être scientifique et sans obtenir suffisamment de faits avant de tirer une conclusion.

Les tabloïds utilisent souvent des statistiques non concluantes ou faussées pour étayer des affirmations élaborées telles que « Drinking X Cures Cancer! ", " La vitamine X inverse la calvitie ! » ou « Manger X vous fera perdre du poids ! ". Vous pouvez facilement faire ces affirmations simplement en ayant un groupe de test si petit que vous avez des données "bruyantes", des statistiques si peu concluantes qu'elles peuvent basculer dans les deux sens et prouver ce que vous voulez prouver si vous avez la chance. Un cas célèbre est celui de John Bohannon, qui a dupé des millions de personnes et des publications majeures en leur faisant croire que le chocolat aidait à perdre du poids.

Le filtrage des sujets de test peut également fausser considérablement les statistiques. Par exemple, de nombreux spécialistes du marketing de produits de soins capillaires interrogeront des clients qui ont déjà acheté le produit, l'ont reçu gratuitement ou qui ont partagé un intérêt pour le produit dans le passé. On leur demande ensuite s'ils recommanderaient le produit à leurs amis ou à leur famille. Les résultats sont sans surprise positifs, avec des résultats dépassant généralement les 80% d'approbation, qui peuvent ensuite être ajoutés au matériel marketing avec un nombre impressionnant de sujets de test.

Comment une faible importance statistique peut entraîner de mauvaises décisions de marketing numérique

Une grande partie du travail de marketing numérique commence par quelques décisions de base : que devrions-nous passer du temps à tester ? Quelles tâches doivent être exécutées en premier ? Nous identifions ensuite les résultats générés par les modifications apportées.

Examinons trois domaines du marketing numérique où une faible signification statistique peut avoir un impact négatif global, malgré les meilleurs efforts des spécialistes du marketing pour améliorer les choses :

Modifications incorrectes apportées aux comptes de publicité payante en ligne

Avec la publicité payante, vous mettez votre propre argent avant d'obtenir un retour sur investissement. Le risque de perdre de l'argent dans l'ensemble est une source de préoccupation pour la plupart des propriétaires d'entreprises en ligne, ce qui peut conduire à des décisions irréfléchies au sein des comptes de publicité payante en ligne.

Par exemple, il est très facile de consulter les statistiques d'une campagne, de penser qu'elle ne fonctionne pas aussi bien que prévu, et de supprimer cette campagne pour qu'elle ne « gaspille » plus aucun coût publicitaire. Mais si la campagne a été mise en place pour cibler correctement les bonnes personnes, il est très peu probable qu'elle soit sans valeur. Souvent, il n'y a tout simplement pas eu assez de clics pour voir s'il pouvait faire des ventes. Si une vente était réalisée tous les cinquante clics, ce serait une décision irréfléchie d'abandonner une campagne qui a enregistré moins de 100 clics, car il aurait peut-être été malchanceux de ne pas avoir réalisé de vente.

Avant de prendre des décisions concernant la publicité payante, vous devez tenir compte de trois éléments :

1. Y a-t-il eu suffisamment de trafic (assez de sujets de test) ?
2. Y a-t-il eu suffisamment de conversions (assez d'objectifs de test) ?
3. Les données sont-elles faussées de quelque manière que ce soit ?

Examiner les statistiques de publicité payante sans trafic suffisant pourrait vous amener à croire que quelque chose est bien meilleur qu'il ne l'est en réalité. Par exemple, vous trouverez ci-dessous les données de différentes campagnes où une campagne a eu la chance d'avoir six conversions en seulement vingt clics. Cela pourrait amener le responsable de compte à penser que cette campagne vaut la peine de dépenser beaucoup plus d'argent alors qu'en fait, elle peut fonctionner de la même manière que les autres campagnes avec plus de trafic :

Avec un faible nombre de conversions, vous n'avez souvent aucune idée des performances de la publicité payante, à moins que vous n'obteniez à nouveau beaucoup plus de trafic. Cela peut être dû à un temps insuffisant pour obtenir suffisamment de données ou à un faible taux de conversion qui nécessite un grand nombre de visiteurs pour obtenir une conversion en moyenne :

Une dernière considération est de réfléchir à la façon dont les statistiques pourraient être faussées dans différentes plages de dates ou avec différents segments de personnes vers lesquels la publicité est destinée. Il peut y avoir de gros changements saisonniers qui peuvent fausser les statistiques. Par exemple, regardez le nombre de recherches Google pour « lunettes de soleil » par rapport à « manteaux » l'année dernière au Royaume-Uni :

Vous trouverez ci-dessous des données de trafic réelles pour un site Web vendant des fleurs livrées en ligne. A noter que le nombre de clics augmente ainsi que le taux de conversion – la probabilité d'une vente – quelques jours avant la fête des mères de l'année dernière, qui a eu lieu le dimanche 15 mars :

Donc, pour contourner tous ces problèmes lors de l'optimisation des comptes publicitaires payants, vous devez avoir suffisamment de trafic et de conversions avant de prendre de grandes décisions. Gardez également à l'esprit que vous pouvez consulter des données faussées.

Si vous n'avez pas assez de trafic ou de conversions, vous pouvez plutôt regarder les métriques du site Web telles que les pages par session ou la durée moyenne de la session pour voir à quel point les visiteurs sont engagés via différents canaux. Cela vous permet de prendre des décisions plus rapidement, mais vous aurez toujours besoin d'une bonne proportion de clics avant de pouvoir commencer à avoir une image plus claire.

S'il y a une tendance saisonnière positive ou négative, essayez de regarder les statistiques autour de cette période ou prenez des statistiques de la même période l'année dernière si vous les avez sous la main.

Hypothèses incorrectes sur les classements des moteurs de recherche

L'optimisation des moteurs de recherche (SEO) est un sujet complexe, beaucoup de gens croient à de nombreux mythes en matière de référencement et utilisent de mauvaises pratiques pour essayer de surpasser les concurrents dans les moteurs de recherche.

On entend parfois dire qu'un certain changement sur un site Web ou un certain lien externe vers un site Web a eu un effet bon ou mauvais sur le référencement. Des déclarations telles que « Nous avons obtenu un lien du site Web X et avons constaté une augmentation de X % des ventes » ou « Nous avons modifié X sur le site Web, puis perdu X quantité de trafic chaque mois » peuvent conduire à de fortes convictions que certaines tactiques de référencement doivent être bonnes. ou préjudiciable au trafic global ou aux ventes.

Les classements des moteurs de recherche dépendent de centaines de facteurs, une combinaison de nombreux signaux pondérés différemment pour déterminer quelles pages parmi des millions de pages potentiellement pertinentes en ligne placer dans l'ordre en haut des résultats. Les augmentations ou les diminutions de classement peuvent être dues à de nombreuses raisons différentes qui peuvent ne pas être liées à une activité de référencement, telles que :

• Un site Web puissant supprimé d'Internet pourrait améliorer le classement des sites Web inférieurs
• Un nouveau concurrent puissant pourrait réduire le classement de tout le monde en prenant la première place
• Google peut juger un certain facteur de classement SEO plus ou moins important qu'avant
• Un concurrent peut gagner ou perdre des backlinks externes, qui jouent un rôle important dans le référencement
• Des nouvelles ou des vidéos tendance sur un sujet peuvent apparaître un jour au-dessus des listes des moteurs de recherche naturels

Ce ne sont là que quelques-unes des nombreuses façons dont des forces externes peuvent affecter le classement d'un site Web sans apporter de modification au site Web lui-même. Il peut donc s'agir d'une pure coïncidence qu'un certain changement ait eu un impact positif ou négatif sur le référencement, à moins qu'il n'y ait de très grandes quantités de données pour sauvegarder les affirmations.

Il est important de connaître la différence entre causalité et corrélation dans les statistiques. Si vous avez un site Web à fort trafic, le simple fait de regarder un graphique montrant le nombre de sessions organiques peut révéler un grand changement :

Si vous n'avez pas beaucoup de trafic, utilisez simplement les meilleures pratiques de référencement et de convivialité sur votre site Web et demandez à un expert de faire un examen complet du site Web pour vérifier que tout est en place.

Mettre fin aux tests fractionnés avant que le test n'ait terminé son cours

Les tests fractionnés A/B ou multivariants peuvent à nouveau nécessiter des quantités massives de trafic avant qu'une variante gagnante puisse être trouvée. Heureusement, les mathématiques complexes derrière la signification statistique sont automatiquement calculées dans tous les principaux logiciels de test fractionné :

Dans la précipitation, vous pourriez terminer l'expérience avec une certitude de 80 à 90 % qu'une variante est meilleure qu'une autre selon les statistiques affichées. Nous avons vu des tests fractionnés déterminer qu'une variation est certaine à plus de 90 % de gagner, seulement pour qu'elle perde globalement lorsque suffisamment de données sont collectées :

Je recommanderais toujours d'attendre que les résultats soient significatifs à plus de 99% avant d'arriver à une conclusion potentiellement erronée. Si le site Web était remplacé par la pire variante, cela pourrait être un recul permanent en termes de capacité de conversion.

Vous pouvez risquer d'atteindre une certitude de 95 % seulement si les niveaux de trafic sont faibles, mais n'oubliez pas qu'il y a un risque de 5 % que vous voyiez un faux négatif – 1 fois sur 20, les résultats seront le contraire de ce qui est rapporté.

Vous trouverez ci-dessous quelques conseils rapides pour les tests fractionnés avec de faibles niveaux de trafic :

• Testez d'abord les grands changements, car ils sont plus susceptibles de produire des taux de conversion différents et de terminer l'expérience globale plus rapidement
• Commencez à tester les pages Web le plus tôt possible, la configuration peut prendre moins d'une heure à l'aide d'outils tels que Visual Website Optimiser (convivial, payant) ou Google Content Experiments (nécessite un développement, uniquement des tests A/B/N, utilisation gratuite)
• Testez différentes étapes de votre site Web en même temps - pour un site de commerce électronique, vous pouvez tester la page d'accueil, les pages de catégories, les pages de produits, la page de panier, la page de paiement et la page de réussite en même temps et avoir des améliorations de pourcentage du taux de conversion composé

Si vos niveaux de trafic sont suffisamment importants, pourquoi ne pas tester avec une certitude de 99,9 % ? Vous pouvez même segmenter un petit pourcentage de visiteurs à tester afin que les résultats globaux n'aient pas trop d'impact si l'expérience a produit des résultats pires que la variante d'origine.

Conclusion

Rassemblez autant d'informations que possible avant de prendre des décisions de marketing numérique basées sur des statistiques, ce qui nécessite généralement de nombreux sujets de test (visiteurs). Les ordures ménagères entraînent des ordures ménagères en ce qui concerne les statistiques, alors ne vous leurrez pas en prenant une action potentiellement nuisible à moins que vous ne soyez certain que les choses changent pour le meilleur ou pour le pire.

Comment la signification statistique sous-tend le marketing numérique – https://t.co/0xhxsqHJNl #ppcchat

– Jonathan Ellins (@Jonathan_Ellins) 25 février 2016