Как статистическая значимость лежит в основе цифрового маркетинга

Никогда не принимайте важное решение, не проверив заранее факты.

Вы бы прыгнули с тарзанки, не проверив предварительно шнур? Перейти дорогу, не заметив пробок? Или заменить предохранитель под напряжением, не проверяя отключение питания?

Принятие решения без предварительной проверки фактов может оказаться очень дорогостоящим, но мы часто видим, что это происходит в секторе цифрового маркетинга.

Как статистика может вам лгать

При изучении статистических различий, тенденций и причинно-следственных связей, если у вас недостаточно информации, легко составить неверную картину.

Рассмотрим простой подбрасывание монеты: подбрасывание монеты десять раз может привести к падению монеты шесть раз орлом и четыре раза решкой. Означает ли это, что подбрасывание монеты возвращает орел в 60% случаев? Вам нужно будет подбрасывать монету еще много раз, чтобы получить четкое представление о том, насколько велика вероятность выпадения орла.

Построение нескольких имитаций подбрасывания монет на графике показывает, что даже после 50 подбрасываний монет вы можете быть далеко от истинного ответа с вероятностью 50%:

Даже после 1000 подбрасываний монет ответ часто находится в диапазоне от 48% до 52%, что составляет ± 2% от фактического ответа:

Без большого количества тестов невозможно сказать, каков настоящий ответ, и было бы глупо делать выводы, не будучи научными и не собрав достаточно фактов, прежде чем делать выводы.

Таблоиды часто используют неубедительные или искаженные статистические данные, чтобы подкрепить тщательно продуманные утверждения, такие как « Питье X лечит рак! «,« Витамин X отменяет облысение! »Или« Еда X заставит вас похудеть! «. Вы можете легко сделать эти утверждения, просто имея такую ​​небольшую группу тестирования, что у вас есть «шумные» данные, а статистика настолько неубедительна, что они могут колебаться в любом направлении и доказать то, что вы хотите доказать, если вам повезет. Знаменитый случай этого произошел с Джоном Боханноном, который обманул миллионы людей и крупные публикации, заставив их думать, что шоколад помогает похудеть.

Отфильтровывание испытуемых также может сильно исказить статистику. Например, многие маркетологи по уходу за волосами будут брать интервью у клиентов, которые уже купили продукт, получили продукт бесплатно или разделяли интерес к продукту в прошлом. Затем их спрашивают, порекомендуют ли они продукт своим друзьям или семье. Результаты неудивительно положительные: результаты обычно превышают 80% рейтинга одобрения, который затем может быть добавлен в маркетинговые материалы с впечатляющим количеством испытуемых.

Как низкая статистическая значимость может привести к принятию неверных решений в области цифрового маркетинга

Большая часть работы по цифровому маркетингу начинается с некоторых основных решений - на что нам следует потратить время на тестирование? Какие задачи нужно выполнить в первую очередь? Затем мы определяем результаты, полученные в результате любых внесенных изменений.

Давайте рассмотрим три области цифрового маркетинга, где низкая статистическая значимость может иметь отрицательное влияние в целом, несмотря на все усилия маркетологов по улучшению ситуации:

Неправильные изменения, внесенные в учетные записи платной рекламы в Интернете

С платной рекламой вы вкладываете собственные деньги, прежде чем получите возврат инвестиций. Риск потери денег в целом является причиной беспокойства для большинства владельцев онлайн-бизнеса, что может привести к некоторым необдуманным решениям в рамках платных рекламных аккаунтов в Интернете.

Например, очень легко просмотреть статистику кампании, подумать, что она не так эффективна, как ожидалось, и удалить эту кампанию, чтобы она больше не «растрачивала» рекламные расходы. Но если кампания была настроена для правильного таргетинга на нужных людей, то вряд ли она будет бесполезной. Часто просто не хватало кликов, чтобы увидеть, можно ли продать его. Если бы одна продажа приходилась на каждые пятьдесят кликов, то было бы опрометчивым решением отказаться от кампании, в которой было меньше 100 кликов, поскольку, возможно, просто не повезло не совершить продажу.

Прежде чем принимать решения в рамках платной рекламы, необходимо учесть три вещи:

1. Достаточно ли трафика (достаточно испытуемых)?
2. Достаточно ли конверсий (достаточно целей тестирования)?
3. Данные каким-либо образом искажены?

Просмотр статистики платной рекламы без достаточного трафика может заставить вас поверить в то, что что-то намного лучше, чем есть на самом деле. Например, ниже показаны данные из разных кампаний, в которых одной кампании удалось получить шесть конверсий всего за двадцать кликов. Это может привести к тому, что менеджер аккаунта решит, что на эту кампанию стоит потратить намного больше денег, хотя на самом деле она может работать так же, как другие кампании с большим трафиком:

При низком количестве конверсий вы часто не имеете представления о том, насколько хорошо работает платная реклама, если только снова не получите значительно больше трафика. Это может быть связано с недостаточным количеством времени для получения достаточного количества данных или низким коэффициентом конверсии, из-за которого для получения одной конверсии в среднем требуется огромное количество посетителей:

Последнее соображение - подумать о том, как статистика может быть искажена в разных диапазонах дат или в разных сегментах рекламируемых людей. Возможны большие сезонные изменения, которые могут исказить статистику. Например, посмотрите, сколько поисковых запросов в Google по запросу "солнцезащитные очки" и "пальто" в прошлом году в Великобритании:

Ниже приведены реальные данные о посещаемости веб-сайта, где продаются цветы с доставкой через Интернет. Обратите внимание, что количество кликов увеличивается, а также коэффициент конверсии - вероятность продажи - за несколько дней до Дня матери в прошлом году, который произошел в воскресенье, 15 марта:

Итак, чтобы обойти все эти проблемы при оптимизации платных рекламных аккаунтов, вам нужно иметь достаточный трафик и конверсии, прежде чем принимать какие-либо важные решения. Также имейте в виду, что вы можете просматривать искаженные данные.

Если у вас недостаточно трафика или конверсий, вы можете вместо этого посмотреть метрики веб-сайта, такие как количество страниц за сеанс или средняя продолжительность сеанса, чтобы узнать, насколько посетители вовлечены в разные каналы. Это позволяет вам принимать решения быстрее, но вам все равно потребуется значительная часть кликов, прежде чем вы сможете начать получать более четкую картину.

Если есть положительный или отрицательный сезонный тренд, попробуйте посмотреть статистику за этот период или взять статистику за тот же период прошлого года, если она у вас есть.

Неправильные предположения о рейтинге в поисковых системах

Поисковая оптимизация (SEO) - сложная тема, и многие люди верят во многие мифы о SEO и используют плохие методы, чтобы попытаться превзойти конкурентов в поисковых системах.

Иногда мы слышим разговоры о том, что определенное изменение веб-сайта или определенная внешняя ссылка на веб-сайт оказали хорошее или плохое влияние на SEO. Такие утверждения, как «Мы ​​получили ссылку с веб-сайта X и увидели рост продаж на X%» или «Мы изменили X на веб-сайте, а затем потеряли X объема трафика каждый месяц» могут привести к твердому убеждению, что определенные тактики SEO должны быть эффективными. или наносит ущерб общему трафику или продажам.

Рейтинг в поисковых системах зависит от сотен факторов, сочетания множества сигналов, взвешенных по-разному, для определения того, какие страницы из миллионов потенциально релевантных страниц в Интернете разместить в верхней части результатов. Повышение или понижение рейтинга может быть связано с множеством различных причин, которые могут не быть связаны с какой-либо деятельностью SEO, например:

• Мощный веб-сайт, удаленный из Интернета, может повысить рейтинг нижестоящих сайтов.
• Новый мощный конкурент может снизить рейтинг всех, заняв позицию номер один.
• Google может счесть определенный фактор ранжирования SEO более или менее важным, чем раньше.
• Конкурент может получить или потерять внешние обратные ссылки, которые играют большую роль в SEO.
• Популярные новости или видео по теме могут однажды появиться над списками обычных поисковых систем.

Это лишь некоторые из множества способов, которыми внешние силы могут повлиять на рейтинг веб-сайта без каких-либо изменений в самом веб-сайте. Таким образом, то, что определенное изменение оказало хорошее или плохое влияние на SEO, может быть полным совпадением, если только не существует очень большого количества данных для подтверждения заявлений.

В статистике важно знать разницу между причинно-следственной связью и корреляцией. Если у вас веб-сайт с высоким трафиком, то простой просмотр графика, показывающего количество органических сеансов, может выявить большие изменения:

Если у вас нет большого объема трафика, просто используйте лучшие методы SEO и юзабилити на своем веб-сайте и попросите эксперта провести полную проверку веб-сайта, чтобы дважды проверить, все ли на месте.

Завершение сплит-тестов до того, как тест завершится

A / B или многовариантное сплит-тестирование снова может потребовать большого количества трафика, прежде чем будет найден выигрышный вариант. К счастью, сложная математика, лежащая в основе статистической значимости, автоматически вычисляется во всех основных программах сплит-тестирования:

В спешке вы можете завершить эксперимент с 80% -90% уверенностью, что один вариант лучше другого согласно показанной статистике. Мы видели, как сплит-тесты определяли, что один вариант с вероятностью более 90% выиграет, но он фактически проиграет в целом, когда будет собрано достаточно данных:

Я всегда рекомендовал бы подождать, пока результаты не станут более чем 99% значимыми, прежде чем прийти к потенциально неправильному выводу. Если бы веб-сайт был изменен на худший вариант, это могло бы стать постоянным шагом назад с точки зрения того, насколько хорошо он может конвертироваться.

Вы можете рискнуть получить только 95% -ную уверенность, если уровень трафика низкий, но помните, что существует 5% -ный риск того, что вы видите ложноотрицательный результат - в 1 из 20 случаев результаты будут противоположными тем, о которых сообщается.

Ниже приведены несколько быстрых советов по сплит-тестированию с низким уровнем трафика:

• Сначала протестируйте большие изменения, так как они, скорее всего, приведут к разным коэффициентам конверсии и быстрее закончат эксперимент.
• Начните сплит-тестирование веб-страниц как можно раньше, настройка может занять менее часа с использованием таких инструментов, как Visual Website Optimiser (удобный, платный) или Google Content Experiments (требуется разработка, только A / B / N-тестирование, бесплатно использовать)
• Одновременно тестируйте разные этапы своего веб-сайта - для веб-сайта электронной коммерции вы можете одновременно тестировать домашнюю страницу, страницы категорий, страницы продуктов, страницу корзины, страницу оформления заказа и страницу успеха и получать комплексные улучшения коэффициента конверсии.

Если уровень вашего трафика достаточно велик, почему бы не проверить его с точностью 99,9%? Вы даже можете сегментировать небольшой процент посетителей для тестирования, чтобы общие результаты не имели большого влияния, если эксперимент дал худшие результаты, чем исходный вариант.

Заключение

Соберите как можно больше информации, прежде чем принимать решения в области цифрового маркетинга на основе статистики, для чего обычно требуется много испытуемых (посетителей). Когда дело доходит до статистики, мусор превращается в мусор, поэтому не обманывайте себя, предпринимая потенциально опасные действия, если только вы не уверены, что все меняется к лучшему или к худшему.

Как статистическая значимость лежит в основе цифрового маркетинга - https://t.co/0xhxsqHJNl #ppcchat

- Джонатан Эллинс (@Jonathan_Ellins) 25 февраля 2016 г.