Wie statistische Signifikanz digitales Marketing untermauert

Treffen Sie niemals eine wichtige Entscheidung, ohne vorher die Fakten zu prüfen.

Würden Sie einen Bungee-Sprung durchführen, ohne zuerst die Schnur zu überprüfen? Die Straße überqueren, ohne zuerst nach Verkehr zu suchen? Oder eine stromführende Sicherung wechseln, ohne zu überprüfen, ob der Strom ausgeschaltet ist?

Eine Entscheidung zu treffen, ohne zuerst Fakten zu prüfen, kann sehr kostspielig sein, aber wir sehen dies häufig im Bereich des digitalen Marketings.

Wie Statistiken Sie anlügen können

Wenn Sie statistische Unterschiede, Trends und Kausalitäten untersuchen, können Sie sich leicht ein falsches Bild machen, wenn Sie nicht über genügend Informationen verfügen.

Betrachten Sie einen einfachen Münzwurf: Wenn Sie eine Münze zehnmal werfen, kann die Münze sechsmal auf Kopf und viermal auf Zahl landen. Bedeutet dies, dass ein Münzwurf in 60 % der Fälle Kopf liefert? Sie müssten eine Münze noch viele Male werfen, um ein klares Bild davon zu bekommen, wie wahrscheinlich es ist, Köpfe zu drehen.

Die Darstellung einiger Simulationen von Münzwürfen in einem Diagramm zeigt, dass Sie selbst nach 50 Münzwürfen weit von der wahren Antwort mit einer Wahrscheinlichkeit von 50% entfernt sein können:

Selbst nach 1.000 Münzwürfen liegt die Antwort oft zwischen 48 % und 52 %, was ±2 % um die tatsächliche Antwort herum liegt:

Ohne eine große Anzahl von Tests können Sie nicht sagen, was die wahre Antwort ist, und es wäre töricht, Schlussfolgerungen zu ziehen, ohne wissenschaftlich zu sein und genügend Fakten zu sammeln, bevor Sie eine Schlussfolgerung ziehen.

Boulevardzeitungen verwenden oft nicht schlüssige oder verzerrte Statistiken, um ausgeklügelte Behauptungen wie „ Trinken X heilt Krebs! “, “ Vitamin X kehrt Kahlheit um! “ oder „ Wenn Sie X essen, werden Sie abnehmen! “. Sie können diese Behauptungen leicht aufstellen, indem Sie einfach eine so kleine Testgruppe haben, dass Sie „verrauschte“ Daten haben, Statistiken, die so unschlüssig sind, dass sie in beide Richtungen schwanken und beweisen können, was Sie beweisen möchten, wenn Sie Glück haben. Ein berühmter Fall davon stammt von John Bohannon, der Millionen von Menschen und großen Publikationen dazu brachte, zu glauben, dass Schokolade beim Abnehmen hilft.

Auch das Herausfiltern von Testpersonen kann die Statistik verzerren. Viele Vermarkter von Haarpflegeprodukten werden beispielsweise Kunden befragen, die das Produkt bereits gekauft, das Produkt kostenlos erhalten oder in der Vergangenheit an dem Produkt interessiert waren. Anschließend werden sie gefragt, ob sie das Produkt ihren Freunden oder ihrer Familie empfehlen würden. Die Ergebnisse sind nicht überraschend positiv, wobei die Ergebnisse in der Regel über 80% der Zustimmungsrate übersteigen, die dann mit einer beeindruckenden Anzahl von Testpersonen zu Marketingmaterialien hinzugefügt werden können.

Wie niedrige statistische Signifikanz zu schlechten Entscheidungen im digitalen Marketing führen kann

Viele digitale Marketingarbeiten beginnen mit einigen grundlegenden Entscheidungen – Was sollten wir beim Testen aufwenden? Welche Aufgaben müssen zuerst ausgeführt werden? Wir identifizieren dann die Ergebnisse, die aus den vorgenommenen Änderungen generiert wurden.

Schauen wir uns drei Bereiche des digitalen Marketings an, in denen eine geringe statistische Signifikanz insgesamt negative Auswirkungen haben kann, trotz der besten Bemühungen der Vermarkter, die Dinge zu verbessern:

Falsche Änderungen an Konten für bezahlte Online-Werbung

Mit bezahlter Werbung legen Sie Ihr eigenes Geld an, bevor Sie eine Rendite erzielen. Das Risiko, insgesamt Geld zu verlieren, gibt den meisten Online-Geschäftsinhabern Anlass zur Besorgnis, was zu voreiligen Entscheidungen bei bezahlten Online-Werbekonten führen kann.

Es ist beispielsweise sehr einfach, sich die Statistiken einer Kampagne anzusehen, zu glauben, dass sie nicht die erwartete Leistung erbringt, und diese Kampagne zu löschen, damit keine Werbekosten mehr "verschwendet" werden. Wenn die Kampagne jedoch so eingerichtet wurde, dass sie die richtigen Personen anspricht, ist sie sehr unwahrscheinlich, dass sie wertlos ist. Oftmals gab es einfach nicht genug Klicks, um zu sehen, ob damit Umsätze erzielt werden könnten. Wenn pro fünfzig Klicks ein Verkauf getätigt würde, wäre es eine vorschnelle Entscheidung, eine Kampagne mit weniger als 100 Klicks aufzugeben, da es möglicherweise einfach Pech gewesen wäre, keinen Verkauf getätigt zu haben.

Bevor Sie Entscheidungen über bezahlte Werbung treffen, müssen Sie drei Dinge berücksichtigen:

1. Gab es genug Verkehr (genug Testpersonen)?
2. Gab es genügend Conversions (genug Testziele)?
3. Sind die Daten in irgendeiner Weise verzerrt?

Wenn Sie sich Statistiken zu bezahlter Werbung ohne genügend Traffic ansehen, könnten Sie glauben, dass etwas viel besser ist, als es wirklich ist. Unten sehen Sie beispielsweise Daten aus verschiedenen Kampagnen, bei denen eine Kampagne das Glück hatte, mit nur zwanzig Klicks sechs Conversions zu erzielen. Dies könnte dazu führen, dass der Account Manager der Meinung ist, dass es sich lohnt, für diese Kampagne viel mehr Geld auszugeben, obwohl sie tatsächlich ähnlich wie die anderen Kampagnen mit mehr Zugriffen funktioniert:

Bei geringen Conversion-Zahlen haben Sie oft keine Vorstellung davon, wie gut bezahlte Werbung abschneidet, es sei denn, Sie erhalten wieder deutlich mehr Traffic. Dies kann daran liegen, dass nicht genügend Zeit vergeht, um genügend Daten zu erhalten, oder eine niedrige Conversion-Rate, die eine große Anzahl von Besuchern erfordert, um im Durchschnitt eine Conversion zu erzielen:

Eine letzte Überlegung besteht darin, darüber nachzudenken, wie Statistiken innerhalb verschiedener Zeiträume oder bei verschiedenen Zielgruppen, für die Werbung gemacht wird, verzerrt werden könnten. Es kann einige große saisonale Veränderungen geben, die die Statistiken verzerren können. Sehen Sie sich zum Beispiel an, wie viele Google-Suchanfragen im letzten Jahr in Großbritannien nach „Sonnenbrillen“ und „Mänteln“ durchgeführt wurden:

Unten finden Sie echte Verkehrsdaten für eine Website, die gelieferte Blumen online verkauft. Beachten Sie, dass die Anzahl der Klicks sowie die Conversion-Rate – die Wahrscheinlichkeit eines Verkaufs – einige Tage vor dem Muttertag im letzten Jahr, der am Sonntag, 15. März stattfand, steigt:

Um all diese Probleme bei der Optimierung bezahlter Werbekonten zu umgehen, müssen Sie also genügend Traffic und Conversions haben, bevor Sie große Entscheidungen treffen. Denken Sie auch daran, dass Sie möglicherweise verzerrte Daten betrachten.

Wenn Sie nicht genügend Traffic oder Conversions haben, können Sie sich stattdessen Website-Metriken wie Seiten pro Sitzung oder durchschnittliche Sitzungsdauer ansehen, um zu sehen, wie engagiert die Besucher über verschiedene Kanäle sind. Auf diese Weise können Sie schneller Entscheidungen treffen, aber Sie benötigen immer noch einen guten Anteil an Klicks, bevor Sie ein klareres Bild erhalten.

Wenn es einen positiven oder negativen saisonalen Trend gibt, dann versuchen Sie, sich Statistiken für diesen Zeitraum anzusehen oder Statistiken aus dem gleichen Zeitraum des letzten Jahres zu verwenden, falls Sie diese zur Hand haben.

Falsche Annahmen über Suchmaschinen-Rankings

Suchmaschinenoptimierung (SEO) ist ein komplexes Thema, bei dem viele Leute viele SEO-Mythen glauben und schlechte Praktiken anwenden, um zu versuchen, Konkurrenten in Suchmaschinen zu übertreffen.

Wir hören manchmal, dass eine bestimmte Änderung an einer Website oder ein bestimmter externer Link zu einer Website einen guten oder schlechten Effekt auf die SEO hat. Aussagen wie „Wir haben einen Link von der X-Website erhalten und einen Umsatzanstieg von X% verzeichnet“ oder „Wir haben X auf der Website geändert und dann jeden Monat X Traffic verloren“ können zu der festen Überzeugung führen, dass bestimmte SEO-Taktiken gut sein müssen oder schädlich für den Gesamtverkehr oder den Umsatz.

Suchmaschinen-Rankings hängen von Hunderten von Faktoren ab, einer Kombination vieler unterschiedlich gewichteter Signale, um zu bestimmen, welche Seiten von Millionen potenziell relevanter Seiten online in der Reihenfolge an der Spitze der Ergebnisse platziert werden sollen. Ranking-Erhöhungen oder -Verringerungen können auf viele verschiedene Gründe zurückzuführen sein, die möglicherweise nicht mit SEO-Aktivitäten zusammenhängen, wie zum Beispiel:

• Eine leistungsstarke Website, die aus dem Internet entfernt wird, könnte das Ranking zu Websites darunter verbessern
• Ein neuer mächtiger Konkurrent könnte die Platzierungen aller reduzieren, indem er die Nummer eins einnimmt
• Google hält einen bestimmten SEO-Ranking-Faktor möglicherweise für wichtiger oder weniger wichtig als zuvor
• Ein Konkurrent kann externe Backlinks gewinnen oder verlieren, die eine große Rolle bei SEO spielen
• Angesagte Nachrichten oder Videos zu einem Thema können eines Tages über den Listen der natürlichen Suchmaschinen erscheinen

Dies sind nur einige der vielen Möglichkeiten, wie externe Kräfte das Ranking einer Website beeinflussen können, ohne die Website selbst zu ändern. Es kann also ein völliger Zufall sein, dass eine bestimmte Änderung einen guten oder schlechten Einfluss auf SEO hatte, es sei denn, es gibt sehr große Datenmengen, um die Behauptungen zu untermauern.

Es ist wichtig, den Unterschied zwischen Kausalität und Korrelation in der Statistik zu kennen. Wenn Sie eine Website mit hohem Traffic haben, kann ein Blick auf eine Grafik, die die Anzahl der organischen Sitzungen zeigt, eine große Veränderung zeigen:

Wenn Sie nicht viel Verkehr haben, verwenden Sie einfach die besten SEO- und Usability-Praktiken auf Ihrer Website und lassen Sie einen Experten eine vollständige Website-Überprüfung durchführen, um zu überprüfen, ob alles vorhanden ist.

Split-Tests beenden, bevor der Test abgelaufen ist

A/B- oder Multi-Varianten-Split-Tests können wiederum enorme Mengen an Traffic erfordern, bevor eine gewinnende Variante gefunden werden kann. Glücklicherweise wird die komplexe Mathematik hinter der statistischen Signifikanz automatisch in allen gängigen Split-Testing-Softwares berechnet:

In Eile könnten Sie das Experiment mit einer 80-90%igen Sicherheit beenden, dass eine Variante gemäß der gezeigten Statistik besser ist als eine andere. Wir haben gesehen, dass Split-Tests festgestellt haben, dass eine Variante zu über 90 % gewinnt, nur um tatsächlich insgesamt zu verlieren, wenn genügend Daten gesammelt wurden:

Ich würde immer empfehlen, zu warten, bis die Ergebnisse zu über 99% signifikant sind, bevor man zu einem möglicherweise falschen Schluss kommt. Wenn die Website auf die schlechtere Variante umgestellt würde, könnte dies ein dauerhafter Rückschritt in Bezug auf die Conversion-Rate sein.

Sie können riskieren, dass Sie nur eine 95%ige Sicherheit haben, wenn das Verkehrsaufkommen niedrig ist, aber denken Sie daran, dass das Risiko von 5 % besteht, dass Sie ein falsch negatives Ergebnis sehen – 1 von 20 Mal sind die Ergebnisse das Gegenteil von dem, was gemeldet wird.

Im Folgenden finden Sie einige schnelle Tipps für Split-Tests mit geringem Traffic:

• Testen Sie zuerst große Änderungen, da diese höchstwahrscheinlich zu unterschiedlichen Conversion-Raten führen und das gesamte Experiment schneller beenden.
• Beginnen Sie so früh wie möglich mit dem Split-Testen von Webseiten. Die Einrichtung kann mit Tools wie Visual Website Optimizer (benutzerfreundlich, kostenpflichtig) oder Google Content Experiments (erfordert Entwicklung, nur A/B/N-Tests, kostenlos nutzbar)
• Testen Sie verschiedene Phasen Ihrer Website gleichzeitig – für eine E-Commerce-Website können Sie gleichzeitig die Startseite, die Kategorieseiten, Produktseiten, die Warenkorbseite, die Checkout-Seite und die Erfolgsseite testen und die prozentuale Gesamtumwandlungsrate verbessern

Wenn Ihr Traffic-Level groß genug ist, warum testen Sie dann nicht mit einer Sicherheit von 99,9 %? Sie können sogar einen kleinen Prozentsatz der Besucher zum Testen segmentieren, damit die Gesamtergebnisse keine allzu großen Auswirkungen haben, wenn der Test schlechtere Ergebnisse lieferte als die ursprüngliche Variante.

Fazit

Sammeln Sie so viele Informationen wie möglich, bevor Sie digitale Marketingentscheidungen auf der Grundlage von Statistiken treffen, was normalerweise viele Testpersonen (Besucher) erfordert. Müll rein führt zu Müll raus, wenn es um Statistiken geht, also täuschen Sie sich nicht vor, potenziell schädliche Maßnahmen zu ergreifen, es sei denn, Sie sind sich sehr sicher, dass sich die Dinge zum Guten oder zum Schlechten ändern.

Wie statistische Signifikanz digitales Marketing untermauert – https://t.co/0xhxsqHJNl #ppcchat

— Jonathan Ellins (@Jonathan_Ellins) 25. Februar 2016