統計意義如何支撐數字營銷

切勿在未事先檢查事實的情況下做出重要決定。

不先檢查繩子，你會蹦極嗎？ 過馬路而不先尋找交通？ 或者在不檢查電源是否關閉的情況下更換帶電保險絲？

在沒有首先檢查事實的情況下做出決定最終可能會非常昂貴，但我們經常在數字營銷領域看到這種情況。

統計數據如何騙你

在研究統計差異、趨勢和因果關係時，如果您沒有足夠的信息，很容易得到錯誤的畫面。

考慮一個簡單的拋硬幣：擲硬幣十次可能使硬幣正面朝上六次，反面四次。 這是否意味著拋硬幣有 60% 的概率會出現正面？ 您需要多次拋硬幣才能清楚地了解正面朝上的可能性有多大。

在圖表上繪製一些拋硬幣的模擬結果表明，即使在拋硬幣 50 次之後，您也可能遠離 50% 概率的真實答案：

即使在擲硬幣 1,000 次之後，通常也可以在 48%-52% 之間找到答案，大約是實際答案的 ±2%：

沒有大量的測試，你就無法知道真正的答案是什麼，在不科學和沒有得到足夠事實的情況下下結論是愚蠢的。

小報經常使用不確定或有偏差的統計數據來支持諸如“飲酒 X 治愈癌症！ ”、“維生素 X 逆轉禿頭！ ”或“吃X會讓你減肥！ “。 您可以輕鬆地通過擁有如此小的測試組來輕鬆做出這些聲明，因為您擁有“嘈雜”的數據和不確定的統計數據，以至於它們可能會以任何一種方式擺動並證明您想要證明的內容（如果您足夠幸運的話）。 一個著名的案例來自約翰博漢農，他愚弄了數百萬人和主要出版物，認為巧克力有助於減肥。

過濾掉測試對像也可能會嚴重扭曲統計數據。 例如，許多護髮產品營銷人員會採訪已經購買該產品、免費獲得該產品或過去對該產品有興趣的客戶。 然後詢問他們是否會將產品推薦給他們的朋友或家人。 不出所料，結果是積極的，結果通常超過 80% 的支持率，然後可以將其添加到具有大量測試對象的營銷材料中。

低統計顯著性如何導致糟糕的數字營銷決策

許多數字營銷工作始於一些基本決策——我們應該花時間測試什麼？ 哪些任務需要先執行？ 然後，我們確定任何更改所產生的結果。

讓我們來看看數字營銷的三個領域，儘管營銷人員盡了最大努力來改進這些領域，但在這些領域中，低統計顯著性會對整體產生負面影響：

在線付費廣告帳戶的錯誤更改

通過付費廣告，您是在獲得投資回報之前投入自己的資金。 整體虧損的風險是大多數在線企業主關注的一個原因，這可能會導致在線付費廣告帳戶中做出一些輕率的決定。

例如，很容易查看廣告系列的統計數據，認為它的效果不如預期，然後刪除該廣告系列，使其不再“浪費”任何廣告費用。 但是，如果該活動是為正確定位正確的人而設置的，那麼它就不太可能一文不值。 通常只是沒有足夠的點擊次數來查看它是否可以產生任何銷售。 如果每 50 次點擊就進行一次銷售，那麼放棄點擊次數少於 100 次的活動將是一個草率的決定，因為沒有進行銷售可能只是不幸。

在付費廣告中做出決定之前，您需要考慮三件事：

1. 是否有足夠的流量（足夠的測試對象）？
2. 是否有足夠的轉化（足夠的測試目標）？
3. 數據是否有任何傾斜？

在沒有足夠流量的情況下查看付費廣告統計數據可能會讓您相信某些事情比實際情況要好得多。 例如，下面顯示的是來自不同廣告系列的數據，其中一個廣告系列有幸在 20 次點擊內獲得了六次轉化。 這可能會導致客戶經理認為該廣告系列值得花更多的錢，而實際上它的效果可能與其他流量更大的廣告系列相似：

由於轉化次數很少，您可能不知道付費廣告的效果如何，除非您再次獲得明顯更多的流量。 這可能是由於沒有足夠的時間來獲取足夠的數據或轉換率低，這需要大量訪問者才能平均獲得一次轉換：

最後一個考慮因素是考慮統計數據在不同日期範圍內或針對不同人群做廣告的情況如何發生偏差。 可能會有一些大的季節性變化，這可能會扭曲統計數據。 例如，看看去年在英國有多少谷歌搜索“太陽鏡”與“外套”：

以下是一個在線銷售鮮花的網站的真實流量數據。 請注意，在去年 3 月 15 日星期日的母親節前幾天，點擊次數和轉化率（銷售的可能性）增加了：

因此，要在優化付費廣告帳戶時解決所有這些問題，您需要在做出任何重大決定之前獲得足夠的流量和轉化次數。 還要記住，您可能正在查看傾斜的數據。

如果您沒有足夠的流量或轉化次數，那麼您可以查看網站指標，例如每次會話的頁面數或平均會話持續時間，以了解訪問者通過不同渠道的參與度。 這使您可以更快地做出決定，但在開始獲得更清晰的圖片之前，您仍然需要很大比例的點擊。

如果存在正或負的季節性趨勢，請嘗試查看該時期的統計數據，或者如果手頭有數據，則採用去年同期的統計數據。

關於搜索引擎排名的錯誤假設

搜索引擎優化 (SEO) 是一個複雜的話題，很多人相信許多 SEO 神話並使用不良做法來嘗試在搜索引擎中超越競爭對手。

我們有時會聽到有人說，對網站的某些更改或指向網站的某個外部鏈接會對 SEO 產生好壞影響。 諸如“我們從 X 網站獲得了一個鏈接，銷售額增長了 X%”或“我們在網站上更改了 X，然後每個月失去了 X 量的流量”之類的陳述可能會導致堅信某些 SEO 策略一定是好的或不利於整體流量或銷售。

搜索引擎排名取決於數百個因素，這些因素結合了許多不同加權的信號，以確定在線數百萬個潛在相關頁面中的哪些頁面排在結果的頂部。 排名上升或下降可能由許多不同的原因造成，這些原因可能與任何 SEO 活動無關，例如：

• 從互聯網上刪除的強大網站可以提升其下方網站的排名
• 一個新的強大的競爭對手可以通過佔據第一的位置來降低每個人的排名
• 谷歌可能會認為某個 SEO 排名因素比以前更重要或更不重要
• 競爭對手可能會獲得或失去外部反向鏈接，這在 SEO 中發揮著重要作用
• 某一主題的熱門新聞或視頻有一天可能會出現在自然搜索引擎列表的上方

這些只是外部力量在不改變網站本身的情況下可能影響網站排名的眾多方式中的一部分。 因此，除非有大量數據支持聲明，否則某個更改對 SEO 產生好壞影響可能完全是巧合。

了解統計學中因果關係和相關性之間的區別很重要。 如果您有一個高流量的網站，那麼只需查看顯示自然會話數量的圖表就可以發現一個很大的變化：

如果您沒有大量流量，那麼只需在您的網站上使用最佳的 SEO 和可用性實踐，並讓專家進行全面的網站審查，以仔細檢查一切是否到位。

在測試運行之前結束拆分測試

A/B 或多變體拆分測試在找到獲勝變體之前可能再次需要大量流量。 幸運的是，所有主要的拆分測試軟件都會自動計算統計顯著性背後的複雜數學：

根據顯示的統計數據，您可以以 80%-90% 的確定性結束實驗，即一個變體比另一個更好。 我們已經看到拆分測試確定一個變體超過 90% 肯定會獲勝，只有當收集到足夠的數據時，它實際上會總體上失敗：

我總是建議等到結果顯著性超過 99%，然後再得出可能錯誤的結論。 如果網站被更改為更糟糕的變體，就轉換效果而言，這可能是永久性的倒退。

如果流量水平較低，您可能只有 95% 的確定性，但請記住，您看到假陰性的風險為 5% – 20 次中有 1 次與報告的結果相反。

以下是一些在低流量下進行拆分測試的快速提示：

• 首先測試大的變化，因為這些最有可能產生不同的轉化率並更快地結束整個實驗
• 儘早開始拆分測試網頁，使用可視化網站優化器（用戶友好，付費使用）或谷歌內容實驗（需要開發，僅 A/B/N 測試，免費使用）
• 同時測試您網站的不同階段——對於電子商務網站，您可以同時測試主頁、類別頁面、產品頁面、購物車頁面、結帳頁面和成功頁面，並提高複合轉化率百分比

如果您的流量水平足夠大，那麼為什麼不測試 99.9% 的確定性呢？ 您甚至可以細分一小部分訪問者進行測試，這樣即使實驗產生的結果比原始變體更差，總體結果也不會產生太大影響。

結論

在根據統計數據做出數字營銷決策之前收集盡可能多的信息，這通常需要大量的測試對象（訪問者）。 當涉及到統計數據時，垃圾輸入會導致垃圾輸出，所以不要自欺欺人地採取可能有害的行動，除非您非常確定事情正在發生好轉或更壞的變化。

統計顯著性如何支持數字營銷 – https://t.co/0xhxsqHJNl #ppcchat

— 喬納森·埃林斯 (@Jonathan_Ellins)，2016 年 2 月 25 日