统计意义如何支撑数字营销

切勿在未事先检查事实的情况下做出重要决定。

不先检查绳子，你会蹦极吗？ 过马路而不先寻找交通？ 或者在不检查电源是否关闭的情况下更换带电保险丝？

在没有首先检查事实的情况下做出决定最终可能会非常昂贵，但我们经常在数字营销领域看到这种情况。

统计数据如何骗你

在研究统计差异、趋势和因果关系时，如果您没有足够的信息，很容易得到错误的画面。

考虑一个简单的抛硬币：掷硬币十次可能使硬币正面朝上六次，反面四次。 这是否意味着抛硬币有 60% 的概率会出现正面？ 您需要多次抛硬币才能清楚地了解正面朝上的可能性有多大。

在图表上绘制一些抛硬币的模拟结果表明，即使在抛硬币 50 次之后，您也可能远离 50% 概率的真实答案：

即使在掷硬币 1,000 次之后，通常也可以在 48%-52% 之间找到答案，大约是实际答案的 ±2%：

没有大量的测试，你就无法知道真正的答案是什么，在不科学和没有得到足够事实的情况下下结论是愚蠢的。

小报经常使用不确定或有偏差的统计数据来支持诸如“饮酒 X 治愈癌症！ ”、“维生素 X 逆转秃头！ ”或“吃X会让你减肥！ “。 您可以轻松地通过拥有如此小的测试组来轻松做出这些声明，因为您拥有“嘈杂”的数据和不确定的统计数据，以至于它们可能会以任何一种方式摆动并证明您想要证明的内容（如果您足够幸运的话）。 一个著名的案例来自约翰博汉农，他愚弄了数百万人和主要出版物，认为巧克力有助于减肥。

过滤掉测试对象也可能会严重扭曲统计数据。 例如，许多护发产品营销人员会采访已经购买该产品、免费获得该产品或过去对该产品有兴趣的客户。 然后询问他们是否会将产品推荐给他们的朋友或家人。 不出所料，结果是积极的，结果通常超过 80% 的支持率，然后可以将其添加到具有大量测试对象的营销材料中。

低统计显着性如何导致糟糕的数字营销决策

许多数字营销工作始于一些基本决策——我们应该花时间测试什么？ 哪些任务需要先执行？ 然后，我们确定任何更改所产生的结果。

让我们来看看数字营销的三个领域，尽管营销人员尽了最大努力来改善事物，但在这些领域中，低统计显着性可能会对整体产生负面影响：

在线付费广告帐户的错误更改

通过付费广告，您是在获得投资回报之前投入自己的资金。 整体亏损的风险是大多数在线企业主关注的一个原因，这可能会导致在线付费广告帐户中做出一些轻率的决定。

例如，很容易查看广告系列的统计数据，认为它的效果不如预期，然后删除该广告系列，使其不再“浪费”任何广告费用。 但是，如果该活动是为正确定位正确的人而设置的，那么它就不太可能一文不值。 通常只是没有足够的点击次数来查看它是否可以产生任何销售。 如果每 50 次点击就进行一次销售，那么放弃点击次数少于 100 次的活动将是一个草率的决定，因为没有进行销售可能只是不幸。

在付费广告中做出决定之前，您需要考虑三件事：

1. 是否有足够的流量（足够的测试对象）？
2. 是否有足够的转化（足够的测试目标）？
3. 数据是否有任何倾斜？

在没有足够流量的情况下查看付费广告统计数据可能会让您相信某些事情比实际情况要好得多。 例如，下面显示的是来自不同广告系列的数据，其中一个广告系列有幸在 20 次点击内获得了六次转化。 这可能会导致客户经理认为该广告系列值得花更多的钱，而实际上它的效果可能与其他流量更大的广告系列相似：

由于转化次数很少，您可能不知道付费广告的效果如何，除非您再次获得明显更多的流量。 这可能是由于没有足够的时间来获取足够的数据或转化率低，这需要大量访问者才能平均获得一次转化：

最后一个考虑因素是考虑统计数据在不同日期范围内或针对不同人群做广告的情况如何发生偏差。 可能会有一些大的季节性变化，这可能会扭曲统计数据。 例如，看看去年在英国有多少谷歌搜索“太阳镜”与“外套”：

以下是一个在线销售鲜花的网站的真实流量数据。 请注意，在去年 3 月 15 日星期日的母亲节前几天，点击次数和转化率（销售的可能性）增加了：

因此，要在优化付费广告帐户时解决所有这些问题，您需要在做出任何重大决定之前获得足够的流量和转化次数。 还要记住，您可能正在查看倾斜的数据。

如果您没有足够的流量或转化次数，那么您可以查看网站指标，例如每次会话的页面数或平均会话持续时间，以了解访问者通过不同渠道的参与度。 这使您可以更快地做出决定，但在开始获得更清晰的图片之前，您仍然需要很大比例的点击。

如果存在正或负的季节性趋势，请尝试查看该时期的统计数据，或者如果手头有数据，则采用去年同期的统计数据。

关于搜索引擎排名的错误假设

搜索引擎优化 (SEO) 是一个复杂的话题，很多人相信许多 SEO 神话并使用不良做法来尝试在搜索引擎中超越竞争对手。

我们有时会听到有人说，对网站的某些更改或指向网站的某个外部链接会对 SEO 产生好坏影响。 诸如“我们从 X 网站获得了一个链接，销售额增长了 X%”或“我们在网站上更改了 X，然后每个月失去了 X 量的流量”之类的陈述可能会导致坚信某些 SEO 策略一定是好的或不利于整体流量或销售。

搜索引擎排名取决于数百个因素，这些因素结合了许多不同加权的信号，以确定在线数百万个潜在相关页面中的哪些页面排在结果的顶部。 排名上升或下降可能由许多不同的原因造成，这些原因可能与任何 SEO 活动无关，例如：

• 从互联网上删除的强大网站可以提升其下方网站的排名
• 一个新的强大的竞争对手可以通过占据第一的位置来降低每个人的排名
• 谷歌可能会认为某个 SEO 排名因素比以前更重要或更不重要
• 竞争对手可能会获得或失去外部反向链接，这在 SEO 中发挥着重要作用
• 某一主题的热门新闻或视频有一天可能会出现在自然搜索引擎列表的上方

这些只是外部力量在不改变网站本身的情况下可能影响网站排名的众多方式中的一部分。 因此，除非有大量数据支持声明，否则某个更改对 SEO 产生好坏影响可能完全是巧合。

了解统计学中因果关系和相关性之间的区别很重要。 如果您有一个高流量的网站，那么只需查看显示自然会话数量的图表就可以发现一个很大的变化：

如果您没有大量流量，那么只需在您的网站上使用最佳的 SEO 和可用性实践，并让专家进行全面的网站审查，以仔细检查一切是否到位。

在测试运行之前结束拆分测试

A/B 或多变体拆分测试在找到获胜变体之前可能再次需要大量流量。 幸运的是，所有主要的拆分测试软件都会自动计算统计显着性背后的复杂数学：

根据显示的统计数据，您可以以 80%-90% 的确定性结束实验，即一个变体比另一个更好。 我们已经看到拆分测试确定一个变体超过 90% 肯定会获胜，只有当收集到足够的数据时，它实际上会总体上失败：

我总是建议等到结果显着性超过 99%，然后再得出可能错误的结论。 如果网站被更改为更糟糕的变体，就转换效果而言，这可能是永久性的倒退。

如果流量水平较低，您可能只有 95% 的确定性，但请记住，您看到假阴性的风险为 5% – 20 次中有 1 次与报告的结果相反。

以下是一些在低流量下进行拆分测试的快速提示：

• 首先测试大的变化，因为这些最有可能产生不同的转化率并更快地结束整个实验
• 尽早开始拆分测试网页，使用可视化网站优化器（用户友好，付费使用）或谷歌内容实验（需要开发，仅 A/B/N 测试，免费使用）
• 同时测试您网站的不同阶段——对于电子商务网站，您可以同时测试主页、类别页面、产品页面、购物车页面、结帐页面和成功页面，并提高复合转化率百分比

如果您的流量水平足够大，那么为什么不测试 99.9% 的确定性呢？ 您甚至可以细分一小部分访问者进行测试，这样即使实验产生的结果比原始变体更差，总体结果也不会产生太大影响。

结论

在根据统计数据做出数字营销决策之前收集尽可能多的信息，这通常需要大量的测试对象（访问者）。 当涉及到统计数据时，垃圾输入会导致垃圾输出，所以不要自欺欺人地采取可能有害的行动，除非您非常确定事情正在发生好转或更坏的变化。

统计显着性如何支持数字营销 – https://t.co/0xhxsqHJNl #ppcchat

— 乔纳森·埃林斯 (@Jonathan_Ellins)，2016 年 2 月 25 日