Como a importância estatística sustenta o marketing digital

Nunca tome uma decisão importante sem verificar os fatos de antemão.

Você faria um bungee jump sem verificar o cabo primeiro? Atravessar a rua sem procurar primeiro o trânsito? Ou trocar um fusível ativo sem verificar se a alimentação está desligada?

Tomar uma decisão sem primeiro verificar os fatos pode custar muito caro, mas vemos isso acontecer com frequência no setor de marketing digital.

Como as estatísticas podem mentir para você

Ao examinar as diferenças estatísticas, tendências e causalidades, se você não tiver informações suficientes, é fácil obter a imagem errada.

Considere um simples lançamento de moeda: lançar uma moeda dez vezes pode acertar a moeda seis vezes na cara e quatro vezes na coroa. Isso significa que o cara ou coroa dá cara 60% das vezes? Você precisaria jogar uma moeda muito mais vezes para ter uma ideia clara da probabilidade de dar cara.

Traçar algumas simulações de lançamento de moeda em um gráfico mostra que mesmo depois de 50 lançamentos de moeda, você pode estar longe da verdadeira resposta de 50% de probabilidade:

Mesmo depois de 1.000 lançamentos de moeda, a resposta pode ser freqüentemente encontrada entre 48% -52%, o que é ± 2% em torno da resposta real:

Sem um grande número de testes, não há como saber qual é a resposta real, e seria tolice tirar conclusões sem ser científico e obter fatos suficientes antes de fazer uma conclusão.

Os tablóides costumam usar estatísticas inconclusivas ou distorcidas para apoiar alegações elaboradas como “ Beber X Cura o Câncer! “,“ A vitamina X inverte a calvície! ”Ou“ Comer X vai fazer você perder peso! “. Você pode facilmente fazer essas afirmações simplesmente por ter um grupo de teste tão pequeno que você tem dados “ruidosos”, estatísticas tão inconclusivas que podem oscilar de qualquer maneira e provar o que você quer provar se tiver sorte o suficiente. Um caso famoso disso foi o de John Bohannon, que enganou milhões de pessoas e grandes publicações fazendo-os pensar que o chocolate ajudava na perda de peso.

Filtrar assuntos de teste também pode distorcer as estatísticas descontroladamente. Por exemplo, muitos profissionais de marketing de produtos para os cabelos entrevistam clientes que já compraram o produto, receberam o produto de graça ou que compartilharam um interesse no produto no passado. Em seguida, eles são questionados se recomendariam o produto a seus amigos ou familiares. Os resultados são surpreendentemente positivos, com resultados geralmente ultrapassando a taxa de aprovação de 80%, que pode então ser adicionada ao material de marketing com um número impressionante de assuntos de teste.

Como a baixa significância estatística pode resultar em más decisões de marketing digital

Grande parte do trabalho de marketing digital começa com algumas decisões básicas - O que devemos gastar tempo testando? Quais tarefas precisam ser executadas primeiro? Em seguida, identificamos os resultados gerados a partir de quaisquer alterações feitas.

Vejamos três áreas do marketing digital em que a baixa significância estatística pode ter um impacto negativo geral, apesar dos melhores esforços dos profissionais de marketing para melhorar as coisas:

Alterações incorretas feitas em contas de publicidade paga online

Com a publicidade paga, você está investindo seu próprio dinheiro antes de obter o retorno do investimento. O risco de perder dinheiro em geral é um motivo de preocupação para a maioria dos proprietários de negócios online, o que pode levar a algumas decisões precipitadas em contas de publicidade paga online.

Por exemplo, é muito fácil olhar as estatísticas de uma campanha, pensar que ela não está funcionando tão bem quanto o esperado e excluir essa campanha para que ela não "desperdice" mais nenhum custo de publicidade. Mas se a campanha foi configurada para atingir corretamente as pessoas certas, é muito improvável que seja inútil. Muitas vezes, simplesmente não houve cliques suficientes para ver se ele poderia fazer alguma venda. Se uma venda fosse feita a cada cinquenta cliques, seria uma decisão precipitada desistir de uma campanha que teve menos de 100 cliques, pois pode ter sido apenas um azar não ter feito uma venda.

Antes de tomar decisões sobre publicidade paga, você precisa considerar três coisas:

1. Houve tráfego suficiente (assuntos de teste suficientes)?
2. Houve conversões suficientes (metas de teste suficientes)?
3. Os dados estão distorcidos de alguma forma?

Observar as estatísticas de publicidade paga sem tráfego suficiente pode levar você a acreditar que algo é muito melhor do que realmente é. Por exemplo, são mostrados abaixo dados de diferentes campanhas em que uma campanha teve a sorte de ter seis conversões em apenas vinte cliques. Isso pode levar o gerente da conta a pensar que vale a pena gastar muito mais dinheiro nesta campanha quando, na verdade, ela pode ter um desempenho semelhante ao das outras campanhas com mais tráfego:

Com um baixo número de conversões, você pode não ter uma ideia do desempenho da publicidade paga, a menos que obtenha novamente muito mais tráfego. Isso pode ser devido ao tempo insuficiente para obter dados suficientes ou a uma taxa de conversão baixa, que requer um grande número de visitantes para obter uma conversão em média:

Uma última consideração é pensar sobre como as estatísticas podem ser distorcidas em diferentes intervalos de datas ou com diferentes segmentos de pessoas para os quais anunciados. Pode haver algumas grandes mudanças sazonais que podem distorcer as estatísticas. Por exemplo, observe quantas pesquisas no Google existem para “óculos de sol” vs. “casacos” no ano passado no Reino Unido:

Abaixo estão dados reais de tráfego de um site que vende flores entregues online. Observe que o número de cliques aumenta, bem como a taxa de conversão - a probabilidade de uma venda - alguns dias antes do Dia das Mães do ano passado, que ocorreu no domingo, 15 de março:

Portanto, para contornar todos esses problemas ao otimizar contas de publicidade paga, você precisa ter tráfego e conversões suficientes antes de tomar grandes decisões. Lembre-se também de que você pode estar vendo dados distorcidos.

Se você não tiver tráfego ou conversões suficientes, poderá, em vez disso, examinar as métricas do site, como páginas por sessão ou duração média da sessão, para ver o quão engajados os visitantes estão por meio de diferentes canais. Isso permite que você tome decisões mais rapidamente, mas ainda precisará de uma boa proporção de cliques antes de começar a obter uma imagem mais clara.

Se houver uma tendência sazonal positiva ou negativa, tente olhar as estatísticas desse período ou pegue as estatísticas do mesmo período do ano passado, se as tiver em mãos.

Suposições incorretas sobre classificações do mecanismo de pesquisa

A otimização para mecanismos de pesquisa (SEO) é um tópico complexo, com muitas pessoas acreditando em muitos mitos de SEO e usando práticas inadequadas para tentar superar os concorrentes nos mecanismos de pesquisa.

Às vezes, ouvimos falar que uma determinada mudança em um site ou um determinado link externo para um site resultou em um efeito bom ou ruim no SEO. Declarações como “Recebemos um link do site X e vimos um aumento de X% nas vendas” ou “Mudamos X no site e perdemos uma quantidade X de tráfego a cada mês” podem levar a fortes convicções de que certas táticas de SEO devem ser boas ou prejudicial ao tráfego geral ou vendas.

As classificações dos mecanismos de pesquisa dependem de centenas de fatores, uma combinação de muitos sinais com pesos diferentes para determinar quais páginas, dentre milhões de páginas on-line potencialmente relevantes, devem ser colocadas em ordem no topo dos resultados. Aumentos ou diminuições na classificação podem ser causados ​​por diversos motivos que podem não estar relacionados a nenhuma atividade de SEO, como:

• Um site poderoso removido da Internet pode aumentar a classificação de sites abaixo dele
• Um novo concorrente poderoso poderia reduzir as classificações de todos, assumindo a posição de número um
• O Google pode considerar um determinado fator de classificação de SEO mais ou menos importante do que antes
• Um concorrente pode ganhar ou perder backlinks externos, que desempenham um grande papel no SEO
• Notícias ou vídeos em alta sobre um tópico podem aparecer acima das listagens naturais do mecanismo de pesquisa um dia

Essas são apenas algumas das muitas maneiras pelas quais forças externas podem afetar as classificações de um site sem fazer nenhuma alteração no próprio site. Portanto, pode ser uma coincidência completa que uma determinada mudança teve um impacto bom ou ruim no SEO, a menos que haja grandes quantidades de dados para fazer backup das afirmações.

É importante saber a diferença entre causalidade e correlação nas estatísticas. Se você tem um site de alto tráfego, simplesmente olhar para um gráfico que mostra o número de sessões orgânicas pode revelar uma grande mudança:

Se você não tem uma grande quantidade de tráfego, então apenas use as melhores práticas de SEO e usabilidade em seu site e peça a um especialista para fazer uma revisão completa do site para verificar se tudo está correto.

Terminando testes de divisão antes que o teste tenha concluído seu curso

O teste de divisão A / B ou de várias variantes pode exigir novamente uma grande quantidade de tráfego antes que uma variação vencedora possa ser encontrada. Felizmente, a matemática complexa por trás da significância estatística é calculada automaticamente em todos os principais softwares de teste de divisão:

Com pressa, você pode encerrar o experimento com 80% -90% de certeza de que uma variante é melhor do que outra, de acordo com as estatísticas mostradas. Vimos testes de divisão determinarem que uma variação tem mais de 90% de certeza de vencer, apenas para realmente perder de maneira geral quando dados suficientes são coletados:

Eu sempre recomendaria esperar até que os resultados fossem mais de 99% significativos antes de chegar a uma conclusão potencialmente errada. Se o site fosse alterado para a variante pior, poderia ser um retrocesso permanente em termos de quão bem ele pode converter.

Você pode arriscar ter uma certeza de apenas 95% se os níveis de tráfego forem baixos, mas lembre-se de que há um risco de 5% de que você esteja vendo um falso negativo - 1 em 20 vezes os resultados serão o oposto do que é relatado.

Abaixo estão algumas dicas rápidas para testes de divisão com baixos níveis de tráfego:

• Teste grandes mudanças primeiro, pois elas têm maior probabilidade de produzir taxas de conversão diferentes e encerrar a experiência geral mais rapidamente
• Comece a dividir as páginas da web o mais cedo possível; pode levar menos de uma hora para configurar usando ferramentas como o Otimizador de website Visual (fácil de usar, pague para usar) ou Experiências de conteúdo do Google (requer desenvolvimento, apenas testes A / B / N, livre para usar)
• Teste diferentes estágios de seu site ao mesmo tempo - para um site de comércio eletrônico, você pode testar a página inicial, as páginas de categoria, as páginas de produtos, a página do carrinho, a página de checkout e a página de sucesso, tudo ao mesmo tempo e ter melhorias de porcentagem da taxa de conversão composta

Se seus níveis de tráfego são grandes o suficiente, por que não testar com 99,9% de certeza? Você pode até segmentar uma pequena porcentagem de visitantes para testar, de forma que os resultados gerais não tenham muito impacto se o experimento produzir resultados piores do que a variante original.

Conclusão

Reúna o máximo de informações possível antes de tomar decisões de marketing digital com base em estatísticas, o que geralmente requer muitos assuntos de teste (visitantes). Lixo resulta em lixo quando se trata de estatísticas, então não se engane em tomar uma ação potencialmente prejudicial, a menos que você tenha certeza de que as coisas estão mudando para melhor ou para pior.

Como a importância estatística sustenta o marketing digital - https://t.co/0xhxsqHJNl #ppcchat

- Jonathan Ellins (@Jonathan_Ellins) 25 de fevereiro de 2016