統計的有意性がデジタルマーケティングをどのように支えているか

事前に事実を確認せずに重要な決定を下すことは絶対にしないでください。

最初にコードをチェックせずにバンジージャンプをしませんか？ 最初に交通を探すことなく道路を横断しますか？ または、電源がオフになっていることを確認せずにライブヒューズを交換しますか？

最初に事実を確認せずに意思決定を行うと、非常にコストがかかる可能性がありますが、これはデジタルマーケティング部門でよく見られます。

統計があなたにどのように嘘をつくことができるか

統計的な違い、傾向、因果関係を調べるとき、十分な情報がないと、間違った状況を簡単に把握できます。

単純なコイントスを考えてみましょう。コインを10回投げると、コインが頭に6回、尻尾に4回着地する可能性があります。 これは、コイントスが60％の確率で頭を返すことを意味しますか？ 頭を上げる可能性を明確に把握するには、コインを何度も裏返す必要があります。

コイントスのシミュレーションをチャートにいくつかプロットすると、50回のコイントスの後でも、50％の確率の真の答えから遠く離れている可能性があることがわかります。

1,000コインを投げた後でも、答えは48％から52％の間で見つかることがよくあります。これは、実際の答えの±2％です。

多数のテストがなければ、本当の答えが何であるかを知る方法はありません。結論を出す前に、科学的で十分な事実を得ずに結論を出すのは愚かなことです。

タブロイド紙は、「飲酒Xは癌を治す！ 」などの手の込んだ主張を裏付けるために、決定的でない統計や歪んだ統計を使用することがよくあります。 「、」ビタミンXは禿げを逆転させます！ 」または「 Xを食べると体重が減ります！ 「。 これらの主張は、「ノイズの多い」データや統計があまりにも決定的でないほど小さなテストグループを作成するだけで簡単に行うことができるため、どちらの方向にも振れ、運が良ければ証明したいことを証明できます。 これの有名なケースは、何百万もの人々と主要な出版物をだましてチョコレートが減量を助けたと考えさせたジョン・ボハノンからのものでした。

被験者を除外すると、統計が大きく歪む可能性もあります。 たとえば、多くのヘアケア製品のマーケターは、すでに製品を購入した、無料で製品を提供された、または過去に製品に関心を共有したことがある顧客にインタビューします。 次に、友人や家族に製品を勧めるかどうかを尋ねられます。 結果は当然のことながら肯定的であり、結果は一般に80％を超える承認率を超えており、印象的な数の被験者がいるマーケティング資料に追加できます。

統計的有意性が低いと、デジタルマーケティングの意思決定がどのように悪くなる可能性があるか

多くのデジタルマーケティング作業は、いくつかの基本的な決定から始まります–テストに何を費やす必要がありますか？ どのタスクを最初に実行する必要がありますか？ 次に、加えられた変更から生成された結果を特定します。

物事を改善するためのマーケティング担当者の最善の努力にもかかわらず、統計的有意性が低いと全体的に悪影響を与える可能性があるデジタルマーケティングの3つの領域を見てみましょう。

オンライン有料広告アカウントに加えられた誤った変更

有料広告では、投資収益率を得る前に自分のお金を投入しています。 全体的にお金を失うリスクは、ほとんどのオンラインビジネスの所有者にとって懸念の原因であり、オンラインの有料広告アカウント内でいくつかの急な決定につながる可能性があります。

たとえば、キャンペーンの統計を確認し、期待どおりに機能していないと考え、そのキャンペーンを削除して、広告費用を「浪費」しないようにするのは非常に簡単です。 しかし、キャンペーンが適切な人々を正しくターゲットにするように設定されている場合、それが無価値になる可能性はほとんどありません。 多くの場合、売り上げを伸ばすことができるかどうかを確認するのに十分なクリック数がないだけです。 50回のクリックごとに1回の販売が行われた場合、販売を行わなかったのは不運だった可能性があるため、クリック数が100回未満のキャンペーンをあきらめるのは無謀な決断です。

有料広告内で決定を下す前に、3つのことを考慮する必要があります。

1. 十分なトラフィック（十分な被験者）がありましたか？
2. 十分なコンバージョン（十分なテスト目標）がありましたか？
3. データは何らかの形で歪んでいますか？

十分なトラフィックがない状態で有料広告の統計を見ると、何かが実際よりもはるかに優れていると信じることができます。 たとえば、以下に示すのは、1つのキャンペーンがたった20回のクリックで6回のコンバージョンを達成できた、さまざまなキャンペーンのデータです。 これにより、アカウントマネージャーは、実際にはトラフィックが多い他のキャンペーンと同様に実行される可能性があるのに、このキャンペーンにもっと多くのお金を費やす価値があると考える可能性があります。

コンバージョン数が少ないと、トラフィックが大幅に増えない限り、有料広告のパフォーマンスがよくわかりません。 これは、十分なデータを取得するのに十分な時間が経過していないか、平均して1回のコンバージョンを取得するために膨大な数の訪問者を必要とする低いコンバージョン率が原因である可能性があります。

最後の考慮事項は、統計がさまざまな日付範囲内で、または宣伝されている人々のさまざまなセグメントでどのように歪められる可能性があるかを考えることです。 統計を歪める可能性のある大きな季節変化がある可能性があります。 たとえば、昨年の英国での「サングラス」と「コート」のGoogle検索数を見てみましょう。

以下は、配達された花をオンラインで販売するWebサイトの実際のトラフィックデータです。 3月15日日曜日に発生した昨年の母の日の数日前に、クリック数とコンバージョン率（販売の可能性）が増加することに注意してください。

したがって、有料広告アカウントを最適化するときにこれらすべての問題を回避するには、大きな決定を下す前に十分なトラフィックとコンバージョンを確保する必要があります。 また、偏ったデータを見ている可能性があることにも注意してください。

トラフィックやコンバージョンが十分にない場合は、代わりに、セッションあたりのページ数や平均セッション時間などのWebサイトの指標を調べて、さまざまなチャネルを通じて訪問者がどの程度関与しているかを確認できます。 これにより、意思決定を迅速に行うことができますが、より明確な画像を取得するには、かなりの割合のクリックが必要になります。

正または負の季節的傾向がある場合は、その期間の統計を調べるか、手元にある場合は昨年の同時期の統計を取得してみてください。

検索エンジンのランキングに関する誤った仮定

検索エンジン最適化（SEO）は複雑なトピックであり、多くの人々が多くのSEOの神話を信じており、悪い慣行を使用して検索エンジンで競合他社を上回っています。

ウェブサイトへの特定の変更またはウェブサイトへの特定の外部リンクがSEOに良いまたは悪い影響をもたらしたという話を時々耳にします。 「XのWebサイトからリンクを取得し、売上がX％増加した」、「WebサイトでXを変更した後、毎月Xのトラフィックを失った」などのステートメントは、特定のSEO戦術が適切である必要があるという強い信念につながる可能性があります。または全体的なトラフィックや売上に悪影響を及ぼします。

検索エンジンのランキングは、数百の要因に依存しています。これは、オンラインで関連する可能性のある数百万のページのうち、結果の上部に並べるページを決定するための、さまざまな重みのシグナルの組み合わせです。 ランキングの増減は、次のようなSEOアクティビティとは関係のないさまざまな理由によるものである可能性があります。

• インターネットから削除された強力なウェブサイトは、その下のウェブサイトへのランキングを上げる可能性があります
• 新しい強力な競争相手は、ナンバーワンの位置を占めることによって、すべての人のランキングを下げることができます
• Googleは、特定のSEOランキング要素が以前よりも多かれ少なかれ重要であると見なす場合があります
• 競合他社は、SEOで大きな役割を果たす外部被リンクを獲得または喪失する可能性があります
• トピックに関するトレンドのニュースやビデオは、ある日、自然な検索エンジンのリストの上に表示される場合があります

これらは、外力がWebサイト自体に変更を加えることなく、Webサイトのランキングに影響を与える可能性のある多くの方法のほんの一部です。 したがって、クレームをバックアップするための非常に大量のデータがない限り、特定の変更がSEOに良い影響または悪い影響を与えたのは完全な偶然かもしれません。

統計における因果関係と相関関係の違いを知ることは重要です。 トラフィックの多いWebサイトがある場合は、オーガニックセッションの数を示すグラフを見るだけで、大きな変化が明らかになります。

トラフィックが少ない場合は、WebサイトでSEOとユーザビリティのベストプラクティスを使用し、専門家にWebサイト全体のレビューを依頼して、すべてが整っていることを再確認してください。

テストがコースを実行する前に分割テストを終了する

A / Bまたはマルチバリアント分割テストでは、勝利のバリエーションを見つける前に、やはり大量のトラフィックが必要になる可能性があります。 幸いなことに、統計的有意性の背後にある複雑な数学は、すべての主要な分割テストソフトウェアで自動的に計算されます。

急いで、示されている統計によれば、あるバリアントが別のバリアントよりも優れているという80％〜90％の確実性で実験を終了することができます。 分割テストでは、十分なデータが収集されたときに実際に全体的に失われるだけで、1つのバリエーションが90％以上確実に勝つことがわかっています。

間違った結論に達する前に、結果が99％以上重要になるまで待つことを常にお勧めします。 ウェブサイトがより悪いバリアントに変更された場合、それはどれだけうまく変換できるかという点で恒久的な後退になる可能性があります。

トラフィックレベルが低い場合、95％の確実性しか得られないリスクがありますが、偽陰性を見ているリスクは5％であることに注意してください。20回に1回の結果は、報告されているものとは逆になります。

以下は、トラフィックレベルが低い分割テストの簡単なヒントです。

• 最初に大きな変更をテストします。これらは異なるコンバージョン率を生み出し、実験全体をより早く終了させる可能性が高いためです。
• できるだけ早くウェブページの分割テストを開始します。ビジュアルウェブサイトオプティマイザー（ユーザーフレンドリー、有料）やGoogleコンテンツエクスペリメント（開発が必要、A / B / Nテストのみ、自由に使用できます）
• ウェブサイトのさまざまな段階を同時にテストする– eコマースウェブサイトの場合、ホームページ、カテゴリページ、製品ページ、カートページ、チェックアウトページ、成功ページをすべて同時にテストし、複合コンバージョン率を向上させることができます。

トラフィックレベルが十分に大きい場合は、99.9％の確実性でテストしてみませんか？ 訪問者のごく一部をセグメント化してテストすることもできるため、実験で元のバリアントよりも悪い結果が得られた場合でも、全体的な結果に大きな影響を与えることはありません。

結論

統計に基づいてデジタルマーケティングの意思決定を行う前に、できるだけ多くの情報を収集します。これには通常、多くの被験者（訪問者）が必要です。 統計に関しては、ガベージインはガベージアウトにつながるため、状況が良くも悪くも変化していることが非常に確実でない限り、潜在的に有害なアクションを実行することに騙されないでください。

統計的有意性がデジタルマーケティングをどのように支えているか– https://t.co/0xhxsqHJNl #ppcchat

— Jonathan Ellins（@Jonathan_Ellins）2016年2月25日