Como o Google funciona: uma história de um engenheiro de classificação do Google - Cobertura e análise do SMX West 2016

Olá amigos. De vez em quando, aqui no Linkarati, cobrimos notícias, tendências ou apresentações que acreditamos que vale a pena compartilhar e ampliar.

Hoje me deparei com um tweet atraente de Rae Hoffman:

se você viu este https://t.co/JN9T1IOBjc e não perdeu tempo assistindo e fazendo isso, boa sorte em sua carreira de SEO. pic.twitter.com/YliYKcSFdq

- Rae Hoffman (@sugarrae) 31 de março de 2016

O link leva ao vídeo da SMX de Paul Haahr, engenheiro de software do Google por 14 anos, que está fazendo uma apresentação na SMX West 2016 sobre como o Google funciona, de sua perspectiva como engenheiro de classificação do Google.

Como Danny Sullivan - que apresenta Paul - diz, o título de Paul não reflete que ele faz parte da liderança sênior da equipe de classificação do Google .

Como um SEO, isso deve fazer seu coração pular.

Danny reitera a sorte que nós (a comunidade SEO) temos de ter Paul presente. E como você pode ver em seu tweet, Rae acredita fortemente que isso é algo que todo SEO precisa observar em profundidade, bem como fazer anotações. Quem sou eu para discutir?

Muitas vezes descobri que escrever a cobertura de uma apresentação me ensina ainda mais do que tomar notas, já que tenho que dar um passo adiante e escrever notas que outros possam entender e apreciar. Ele adiciona mais uma camada de pensamento crítico.

Decidi fazer exatamente isso, para entender melhor o material por conta própria e para ajudá-lo a digerir a apresentação mais rapidamente. Vencer / Vencer, certo? Nota: Rae tem suas próprias notas e cobertura aqui.

Eu recomendo que você acompanhe o vídeo, que será incorporado ao longo. Abaixo também incluí a apresentação de Paul no Slideshare, da qual irei recortar e postar imagens estáticas para acompanhar minha cobertura.

Sente-se, aproveite e me diga o que você acha.

Vamos entrar nisso.

Nota: Emanuele Vaccari traduziu este post para o italiano, junto com algumas de suas próprias idéias. Você pode ver sua postagem traduzida aqui.

O que faz um engenheiro de classificação do Google

Na verdade, vou quebrar uma das minhas próprias regras de cobertura de cara e ignorar a ordem cronológica (mas apenas por enquanto - examinarei a apresentação cronologicamente, após esta seção).

Paul tinha um tema embutido em sua apresentação que serviu como a espinha dorsal de sua apresentação, na minha opinião. Esse tema é "o que os engenheiros de classificação fazem?" .

Havia quatro versões dessa resposta, de acordo com Paul, cada uma refinando ligeiramente o papel do engenheiro de classificação:

1. Escreva o código para esses servidores [de pesquisa do Google]. Fonte: Slide 16
2. Procure novos sinais. Combine sinais antigos de novas maneiras. Fonte: Slide 19
3. Otimize para nossas métricas [relevância / intenção do pesquisador e qualidade]. Fonte: Slide 24
4. Mova os resultados com boas classificações [de experimentos ao vivo e avaliadores humanos] para cima. Mova os resultados com classificações ruins para baixo. Fonte: Slide 55

Observe que os colchetes [] indicam minhas próprias interjeições para esclarecer (imperfeitamente) os slides de Paulo.

Então, o que um engenheiro de classificação do Google faz? A principal lição que recebi: certifique-se de que a pesquisa esteja realmente melhorando para os usuários (os humanos). E como eles fazem isso? Fazendo o Google corresponder melhor às Diretrizes de classificação de qualidade de pesquisa .

Um tweet posterior de Paul para Rae novamente enfatizou a importância das Diretrizes de classificação de qualidade de pesquisa e que os SEOs realmente deveriam ler o documento inteiro:

. @ sugarrae Que bom que gostou. Para transparência, acho que as diretrizes do avaliador foram realmente um grande negócio. Já os leu? Https: //t.co/llmUQJbkQ8

- Paul Haahr (@haahr) 31 de março de 2016

Minha citação favorita absoluta da apresentação de Paul veio quando ele estava falando sobre as Diretrizes de classificação de qualidade de pesquisa do Google na marca de 16:08. A citação em si é dos 16h48min, durante o slide 32 da apresentação. Paulo disse:

"Se você está se perguntando por que o Google está fazendo algo, geralmente a resposta é fazer com que [a pesquisa] pareça mais com o que dizem as diretrizes do avaliador."

Paul Haahr, engenheiro de classificação do Google, SMX West 2016

Essa é uma declaração poderosa. Paul resume todas as mudanças no Google como uma tentativa de corresponder melhor às Diretrizes de classificação de qualidade de pesquisa, que eles publicaram! Resumindo: você quer entender o Google? Vá ler suas diretrizes de qualidade.

Tudo bem, vamos pular para a cobertura cronológica da apresentação de Paul.

Pesquisa Google Hoje

Existem dois temas na pesquisa do Google hoje, de acordo com Paul:

1. Mobile First
2. Recursos

O celular está liderando as consultas de pesquisa, e o Google está cada vez mais pensando no celular em primeiro lugar. Esta não é uma informação nova para SEOs, mas é algo que Paul fez questão de enfatizar.

O segundo ponto que Paul enfatizou foi a importância dos recursos, especialmente em dispositivos móveis.

Slide Quatro

Curiosamente, Paulo disse no resumo da pesquisa hoje:

"Estamos entrando cada vez mais em um mundo onde a pesquisa é vista como um assistente para todas as partes da sua vida."

Paul Haahr, engenheiro de classificação do Google, SMX West 2016

Como funciona a pesquisa do Google

Todo o Google costumava ser 10 links azuis. Paul dividiu o problema de classificação na era dos 10 links azuis como "Que documentos mostramos? Em que ordem os mostramos?"

Slide Sete

Interessante à parte: Paul parou um momento para esclarecer que nunca tocaria no assunto dos anúncios. Especificamente, Paul disse:

"Os anúncios são ótimos, eles nos rendem muito dinheiro e funcionam muito bem para os anunciantes. Mas, meu trabalho, dizem-nos explicitamente" não pense no efeito nos anúncios, não pense no efeito na receita - pense apenas em ajudar o usuário. "

Paul Haahr, engenheiro de classificação do Google, SMX West 2016

interessante ouvir sobre a separação nítida entre igreja e estado - desculpe-me, pago e orgânico.

Life of A Query

A explicação de Paul sobre a classificação começa com a vida de uma consulta, para explicar como a pesquisa funciona. Existem duas partes de um mecanismo de pesquisa:

1. Antecipado (antes da consulta)
2. Processamento de consultas.

Antes da consulta:

• Rastreie a web
• Analise as páginas de rastreamento
  • Extrair links (a versão clássica de pesquisa)
  • Renderize o conteúdo (Javascript, CSS - Paul enfatizou a importância disso.)
  • Semântica de anotações
• Construir um índice
  • Link para o índice de um livro
  • Para cada palavra, uma lista de páginas em que ela aparece
  • Dividido em milhões de páginas
    • Essas páginas são chamadas de "fragmentos"
    • Milhares de fragmentos para o índice da web
  • Além de metadados por documento.

Fonte: slides 10 e 11.

Processamento de consulta (quando alguém usa a pesquisa):

• Compreensão e expansão da consulta
  • A consulta nomeia entidades conhecidas?
  • Existem sinônimos úteis?
  • O contexto é importante
• recuperação e pontuação
  • Envie a consulta para todos os fragmentos
  • Cada fragmento:
    • Encontra páginas correspondentes
    • Calcula uma pontuação para consulta + página
    • Envia de volta as primeiras N páginas por pontuação
  • Combine todas as páginas principais
  • Classificar por pontuação
• Ajuste pós-recuperação
  • Clustering de host (quantas páginas pertencem ao mesmo domínio), sitelinks
  • Existe muita duplicação?
  • Rebaixamentos de spam, ações manuais aplicadas

Fonte: slides 12, 13, 14 e 15.

Sinais de pontuação do Google

Paulo se refere a um único número que representa a correspondência entre uma consulta e uma página.

Isso é baseado em sinais de pontuação, que são baseados em duas categorias:

1. Sinais de pontuação com base em uma página
2. Sinais de pontuação com base na consulta.

Slide Dezoito

Aqui, Paul citou a versão dois dos trabalhos do engenheiro de classificação: procure novos sinais ou combine sinais antigos de novas maneiras . Paulo descreveu isso como "difícil e interessante".

Principais métricas na classificação: relevância, qualidade, tempo para obter resultados

Paul enfatizou a relevância como uma métrica chave nos resultados da pesquisa. A relevância foi explicada basicamente como "correspondência da intenção do usuário".

Paul se refere à relevância como "nossa métrica de linha superior" e "a grande métrica interna".

Existem também outros dois: qualidade e tempo de resultado (mais rápido é melhor). Nesta apresentação, relevância e qualidade foram o foco.

Ponderação de classificação recíproca

CTR (taxas de cliques) são frequentemente discutidas em SEO, especialmente para classificações de pesquisa. Qual é o valor de ser o melhor resultado em orgânico versus ser o número dois? Versus ser o número quatro? Isso é frequentemente discutido e debatido. Paul explicou o ponto de vista do Google, em termos de valor.

Ele definiu a ideia como "ponderação reciprocamente classificada":

Slide Vinte e Três

Para ser claro, Paul não estava discutindo o CTR. Em vez disso, uma métrica interna que valoriza páginas de pesquisa inteiras.

A ideia representa uma degregação de 50% no valor de cada posição, com o número um valendo dez vezes mais do que o número dez.

Muito fascinante.

E isso trouxe Paul para a versão número três do que os engenheiros de classificação do Google fazem: otimizar para nossas métricas [relevância e qualidade].

Slide Vinte e Quatro

Como o Google avalia os resultados da pesquisa?

Paul explica que há duas maneiras de o Google analisar a eficácia de resultados específicos:

1. Experimentos ao vivo
2. Avaliadores humanos.

Vídeo abaixo:

Experiências ao vivo

O Google executa testes A / B ao vivo no tráfego real e, em seguida, procura alterações nos padrões de clique.

"Realizamos muitos experimentos. É muito raro você fazer uma pesquisa no Google e não estiver em pelo menos um experimento."

Paul Haahr, engenheiro de classificação do Google, SMX West 2016

Paul explica que interpretar experimentos ao vivo é uma tarefa difícil.

Seu exemplo principal (abaixo) é um resultado com uma caixa de resposta. Tradicionalmente, se o usuário clicasse no site, isso seria visto como um bom resultado. Mas e se o pesquisador visse a resposta, ficasse satisfeito e fechasse? Tradicionalmente, isso seria classificado como um resultado ruim, mas, neste caso, pode realmente ser um bom resultado.

Slide Trinta

O objetivo do exemplo de Paul é mostrar como é desafiador analisar a satisfação do usuário.

Experimentos de avaliador humano no Google

A lição mais importante dessa parte é que o mobile-first é novamente enfatizado aqui, com a maioria dos experimentos de avaliadores humanos ocorrendo em smartphones .

Os experimentos do avaliador humano funcionam da seguinte forma:

1. Mostrar resultados experimentais de pesquisa para pessoas reais
2. Pergunte se os resultados são bons (taxa variável de relevância e qualidade)
3. Agregar classificações entre avaliadores

Novamente, é extremamente importante observar que o Google publicou suas Diretrizes para avaliadores de qualidade de pesquisa.

Sério, assista a esse clipe.

Exemplos de avaliação do avaliador de qualidade de pesquisa

Paul começa a examinar exemplos e capturas de tela de experimentos de classificação de qualidade de pesquisa na marca de 16:56

Recomendo assistir ao vídeo desta parte, pois muito do que Paul depende muito dos slides. Para acompanhar, esta parte da apresentação começa no slide 33.

Duas escalas para julgar os resultados: relevância e qualidade

Existem duas escalas que o Google fornece aos avaliadores para julgar a qualidade dos resultados:

1. Necessidades atendidas (relevância)
2. Qualidade da página

Slide Trinta e Cinco

Experiências mobile-first

Paul também enfatiza os dispositivos móveis primeiro.

Eles conseguem isso de cinco maneiras:

1. Todas as instruções relevantes são sobre as necessidades do usuário móvel.
2. Os cartuchos móveis são usados ​​o dobro em experimentos.
3. A localização do usuário é incluída nos experimentos.
4. A ferramenta exibe uma experiência de usuário móvel.
5. Os avaliadores visitam sites usando seus smartphones.

Eu não posso enfatizar o quão importante isso é. O Google está claramente dando ênfase real ao celular; não há meio-termo aqui.

Classificação de necessidades atendidas - Classificação de relevância

Existem cinco categorias diferentes de relevância, que são definidas como "necessidades atendidas":

1. Atende Totalmente
2. Atende Altamente
3. Atende moderadamente
4. Atende Ligeiramente
5. Falha ao atender.

É importante observar que os avaliadores não julgam com apenas cinco opções: eles são apresentados com uma escala móvel que pode pousar em qualquer lugar entre qualquer uma dessas classificações.

Começando no slide 41, Paul percorre exemplos de cada classificação:

Aqui está o vídeo que acompanha:

Pontos importantes:

1. "Atende totalmente" só pode existir quando a consulta não é ambígua e há um resultado que pode satisfazer totalmente o que o usuário pretende com a consulta.
2. "Altamente atende" às ​​vezes requer dois resultados específicos separados para satisfazer a intenção do usuário.
3. "Atende moderadamente" é geralmente uma boa informação.
4. "Atende ligeiramente" é aceitável, mas não é uma boa informação, com resultados esperançosamente melhores para exibir.
5. "Fails to meet" é ridículo, com Paul citando bugs de pesquisa que retornam resultados ruins.

Classificação de qualidade da página

O Google analisa três conceitos importantes para descrever a qualidade de uma página:

1. Perícia
2. Autoridade
3. Confiabilidade.

A escala de qualidade vai de alto a baixo.

Páginas de alta qualidade:

• Quantidade satisfatória de conteúdo principal de alta qualidade.
• Experiência, autoridade e confiança são claras.
• O site tem uma boa reputação.

Slide Fifty

Páginas de baixa qualidade:

• A qualidade do conteúdo é baixa
• Não há muito conteúdo principal
• Nenhuma experiência ou autoridade exibida
• O site tem uma reputação negativa
• O conteúdo secundário (anúncios) distrai.

Slide Fifty One

Otimizando Métricas de Qualidade de Pesquisa

Algumas centenas de cientistas da computação trabalham em engenharia de nível. Eles se concentram em métricas e sinais, realizam experimentos constantes, fazem muitas mudanças - tudo para tornar os resultados de pesquisa do Google melhores (e refletir com mais precisão as Diretrizes do avaliador de qualidade de pesquisa.

O processo de desenvolvimento é bastante normal para o processo de desenvolvimento de software.

Slide Fifty Four

Destaques importantes:

1. O processo pode levar de semanas a meses para testar o código.
2. Analistas quantitativos (basicamente estatísticos) revisam os dados. Eles mantêm os engenheiros de classificação honestos, fornecendo análises imparciais da mudança.
3. Um painel de revisão de lançamento analisa um resumo do projeto, analisa a documentação e relatórios e debate os méritos da mudança de classificação.
4. Enviar a atualização ao vivo pode ser rápido ou lento, dependendo de quão pronto o código está para o algoritmo.

Os engenheiros de classificação criam essas atualizações principalmente para mover os resultados com classificações boas para cima e para baixo os resultados com classificações ruins.

O que dá errado no processo de desenvolvimento

Paulo fala sobre dois tipos de problemas:

1. Avaliações sistematicamente ruins.
2. Métricas que não capturam conceitos com os quais se preocupam.

Avaliações sistematicamente ruins

Paul usa o exemplo de [fertilizante agrícola do Texas]. Acontece que esta é uma marca de fertilizante, mas o Google estava devolvendo o fabricante. É improvável que as pessoas realmente queiram um mapa do fabricante, mas prefiram ver o produto real. No entanto, os avaliadores humanos classificam isso consistentemente como um resultado de "alta satisfação das necessidades" .

Na verdade, isso levou a um padrão de adição de mais mapas, o que gerou resultados altamente avaliados, mas experiências de pesquisa ao vivo ruins.

Métricas ausentes

Paul cita o problema que o Google estava tendo com qualidade em 2008-2011. Especificamente, o problema com fazendas de conteúdo .

As fazendas de conteúdo podem produzir conteúdo de baixa qualidade e altamente relevante. Isso levou a resultados altamente avaliados que, na verdade, eram de baixa qualidade. As fazendas de conteúdo são o que levou o Google a implementar o segundo controle deslizante em seus experimentos de classificação humana, avaliando a qualidade dos resultados.

É absolutamente fascinante ouvir Paul discutir o problema com fazendas de conteúdo e o efeito na qualidade da pesquisa, e como a implementação de outra métrica para julgar a eficácia dos resultados da pesquisa superou o problema.

Também é fascinante não haver menção ao Panda aqui, que é como o Google lida algoritmicamente com fazendas de conteúdo.

A solução para as métricas ausentes, de acordo com Paul, é fixar as diretrizes do avaliador ou desenvolver novas métricas (quando necessário).

Slide Sixty Seven

E essa é toda a apresentação de Paulo!

Considerações finais e conclusões

Apenas algumas reflexões finais para encerrar esta longa postagem.

1. Vou ler as Diretrizes do avaliador de qualidade de pesquisa mais cedo ou mais tarde. Você deveria também. Paul enfatizou que todas as mudanças feitas nas classificações de pesquisa devem refletir esse documento. Quer entender a classificação do Google? (como um SEO, a resposta deve ser um sonoro "SIM!") Em seguida, leia esse documento.
2. O Google realmente prioriza os dispositivos móveis. Todos os experimentos de avaliadores humanos enfatizam fortemente as experiências mobile-first, em um grau surpreendente.
3. Quase todas as pesquisas incluem um experimento ao vivo.
4. Relevância é a métrica número um no Google. Eles definem "relevância" como atender às necessidades do usuário (humanas) na pesquisa. Se você quiser ter uma classificação mais elevada, pense em atender às expectativas e necessidades dos usuários.
5. O Google valoriza significativamente mais o primeiro resultado. Cada resultado subsequente é degradado em 50% do valor do resultado anterior. O resultado nº 1 é considerado dez vezes mais valioso do que o resultado nº 10.

Tenho certeza de que há outras lições importantes, mas meu cérebro está oficialmente frito. O feedback é bem-vindo - espero que você tenha gostado da cobertura.