Perguntas e respostas com Paul Haahr, engenheiro de classificação do Google, SMX West 2016

Recentemente, a indústria de SEO recebeu um raro pouco de transparência e percepção de um membro da equipe do Google. Especificamente, um membro de sua divisão de engenharia de classificação: uma pessoa que contribui diretamente para o algoritmo do Google.

Paul Haahr, engenheiro de software do Google nos últimos 14 anos, fez uma apresentação na SMX West em março sobre como o Google funciona, de sua perspectiva como engenheiro de classificação. Algumas peças de cobertura:

• Vídeo completo aqui.
• Minha cobertura e pensamentos aqui.
• A cobertura de Rae Hoffman aqui (não perca os comentários!).
• Transcrição completa da apresentação de Richard Baxter.

Esta postagem cobrirá as perguntas e respostas que Danny Sullivan conduziu com Paul após sua apresentação, que foi acompanhado por Gary Iylles, um analista de tendências para webmasters do Google. Vídeo completo abaixo:

No Q&A foram feitas 16 perguntas. Vamos pegar um de cada vez.

Nota: Vou parafrasear as respostas com base no meu próprio entendimento. Se você quiser assistir a resposta completa, sugiro que você assista ao vídeo. Cada pergunta tem o vídeo incorporado ao ponto em que Danny faz a pergunta.

1. Fragmentos são partes do índice geral em vários lugares?

O índice é a soma de todos os fragmentos juntos.

O Google tem uma grande rede de máquinas muito grandes e eles escolhem os tamanhos dos fragmentos para preencher essas máquinas muito grandes. Parece que os fragmentos são a maneira do Google de lidar com o problema de escala, tornando o tamanho do índice gerenciável.

2. Como o RankBrain se encaixa em tudo isso?

1. O RankBrain é fornecido com certos subconjuntos de sinais no algoritmo (não está claro quais sinais).
2. O RankBrain é um sistema de aprendizado de máquina (aprendizado profundo? Paul se corrige para o aprendizado profundo) que tem suas próprias ideias sobre como combinar sinais e entender documentos.
3. O Google entende como o RankBrain funciona (depois de muito esforço), mas eles não entendem o que ele está fazendo exatamente.
4. O RankBrain usa muito do que o Google publicou sobre aprendizado profundo.
5. Uma camada do que o RankBrain está fazendo é o word2vec e o word embeddings.
6. O RankBrain é iniciado após a fase final de pós-recuperação na vida de uma consulta. (Paulo se refere a isso como uma "caixa").

3. Como o RankBrain conhece a autoridade de uma página? Como sabe a qualidade?

O RankBrain possui dados de treinamento robustos, destinados a melhorar essa funcionalidade. Ele vê sinais, além de consultas e páginas da web.

Para mim, parece que o RankBrain não precisa determinar a autoridade ou a qualidade de uma página. Já alimentou essa informação.

4. Quais metas de conversão o Google tem ao testar refinamentos de algoritmos de classificação? Existem objetivos consistentes com os quais todas as atualizações são avaliadas?

O Google costumava ter uma métrica chamada "Taxa de próxima página", que basicamente mede a frequência com que as pessoas clicam na segunda página de resultados. O conceito de ser a primeira página não foi um grande resultado. No entanto, isso poderia ser facilmente jogado / manipulado.

O espaço em branco, especificamente, reduziria a probabilidade de as pessoas clicarem na página dois de pesquisa.

[cena cortada no vídeo]

Nota: Uma pergunta semelhante é feita mais tarde, na marca de 8:50. Role para baixo até a pergunta nº 8 para ver o vídeo e a resposta.

5. Uma das primeiras coisas a fazer é determinar se uma consulta contém uma entidade. Isso foi algo que você fez há cinco anos?

Isso começou ao mesmo tempo que o Mapa de conhecimento e os Painéis de conhecimento. É a chave para esses processos.

Não era algo que o Google estava fazendo antes de lançar o Mapa do Conhecimento em 2011.

6. Se alguém estiver conectado a qualquer aplicativo do Google, você se diferencia pelas informações que coleta? Estar no Google Now versus Google Chrome pode afetar a pesquisa?

A verdadeira questão é se você está logado ou não.

Se você estiver conectado, o Google traz a personalização de pesquisa. O Google deseja fornecer uma experiência de pesquisa consistente para os usuários, com base em seus interesses, bem como o que está sendo mostrado nos cartões do Google Now.

Contanto que você esteja conectado e não tenha desativado a personalização de pesquisa, você terá personalização em suas experiências de pesquisa.

É mais provável que a pesquisa o siga em seus dispositivos do que os favoritos.

7. O Google fornece resultados diferentes para a mesma consulta em momentos diferentes durante o dia? Os mapas locais parecem mudar com o horário comercial.

Nem Paul nem Gary tinham certeza, embora ambos parecessem pensar que o horário de funcionamento não afetaria uma consulta.

O Google faria questão de mostrar o horário de fechamento (e horário de funcionamento) se a empresa estivesse fechada, mas nenhum dos dois parecia pensar que o horário afetaria a presença ou não de um mapa nos resultados da pesquisa.

Simplesmente porque uma empresa está fechada (ou perto de fechar), não significa que o usuário não esteja interessado em sua localização física.

8. Como o Google determina mudanças positivas ou negativas em experimentos com avaliadores humanos? Existe um relatório de vencedores / perdedores por meio de consultas?

O Google tem um relatório resumido de cada experimento, como o experimento foi executado de acordo com um monte de métricas diferentes (que variam dependendo do experimento), todos incluindo todas as consultas envolvidas.

Existem classificações de vitórias e derrotas. No exemplo mencionado anteriormente - a consulta de fertilizante que exibiu um mapa - foi categorizado como uma vitória. Os humanos revisam as métricas e os resultados. No entanto, neste caso, Paulo se referiu a si mesmo como tendo obtido os resultados ruins que são relatados como uma vitória.

Paulo faz questão de dizer que os avaliadores humanos são ótimos em geral, mas cometem erros. Especificamente, os avaliadores humanos ficam entusiasmados com certos recursos, mesmo se os recursos não agregam valor.

9. O que está acontecendo com o Panda e o Penguin?

Paul não tem uma resposta. Ele faz questão de dizer que o Panda e o Pinguim são considerados na "caixa" de pontuação e recuperação.

Danny redireciona o foco para Gary, que é famoso por dizer repetidamente nos últimos seis meses que o Penguin estava perto do lançamento. Na verdade, Gary disse que o Penguin seria lançado antes do ano novo (janeiro de 2016).

Obviamente, as previsões de Gary não deram certo.

Gary relata que desistiu de relatar a época em que o Penguin será lançado. Ele sabe que os engenheiros estão trabalhando especificamente nisso, mas, depois de errar três vezes, não quer dizer uma data ou prazo.

Paul menciona novamente o longo ciclo de iteração de lançamento de novos sinais e algoritmos de classificação.

10: Você falou sobre um lançamento que durou dois anos. Era o pinguim?

O lançamento de dois anos que Paul discutiu não foi o Penguin.

O lançamento foi um lançamento de recurso metade da classificação metade. Foi a primeira tentativa de correção ortográfica que ocupou metade dos SERPs, apresentando resultados de erros ortográficos, em vez de uma função "você quis dizer".

A primeira iteração lançada desse recurso exigiu reescritas consideráveis ​​(presumivelmente para caber no algoritmo).

11: Você menciona a experiência de um determinado autor. Como você está identificando e rastreando a autoridade do autor para os tópicos?

Paulo não pode entrar em detalhes aqui. No entanto, avaliadores humanos em experimentos têm a tarefa de fazer isso manualmente para as páginas que veem . O Google compara suas próprias métricas com o que os avaliadores humanos encontram, validando (ou invalidando) suas próprias métricas.

12: A autoridade do autor é usada como um fator de classificação direto ou indireto?

Não há uma resposta simples: Paulo não pode dizer sim ou não. É mais complicado do que a pergunta sugere.

13: Devemos continuar a nos preocupar com rel = author?

Gary diz que há pelo menos uma equipe que continua analisando o uso da tag rel = author.

Gary não recomendaria criar a tag para novas páginas, mas também não recomendaria extrair a tag rel = author das páginas antigas. A etiqueta não faz mal a nada e pode ser usada para algo no futuro.

14: Como você evita que os avaliadores de qualidade tenham um viés de familiaridade com a marca?

Os avaliadores humanos, antes dos experimentos, são solicitados a fazer pesquisas, mas Paul reconhece que muitas vezes eles têm um preconceito.

Paul diz que existem métricas que se destinam a neutralizar esse viés, e que essas métricas não estão especificamente no sinal de qualidade.

Curiosamente, Paul diz espontaneamente: "Ainda não comecei a examinar todas as métricas que realmente olhamos."

A implicação, então, é que existem muitas métricas além da relevância e qualidade que são analisadas nos experimentos.

Paul faz questão de dizer que há muitos sites pequenos que recebem uma classificação de qualidade, "porque os avaliadores fazem um trabalho completo. Eles parecem ser bons em descobrir isso."

15: A taxa de cliques (CTR) é um sinal de classificação?

Paul confirma que o CTR é usado em experimentos, bem como na personalização.

A métrica é desafiadora de usar em qualquer circunstância.

Gary se intromete para dizer que mesmo com grupos controlados é difícil interpretar corretamente o engajamento.

Paul concorda que muitos experimentos que foram feitos têm métricas ao vivo enganosas. O exemplo que ele cita são os snippets, bem como a "Taxa da próxima página" mencionada na questão nº 4.

Paul também cita um experimento ao vivo de longa duração que trocou os resultados nºs 2 e 4 nos resultados de pesquisa. Foi randomizado e apenas para 0,02% dos usuários. O resultado? Muito mais pessoas clicaram no resultado nº 1. Paul explica isso:

"Eles veem o # 1 - eles não sabem se gostam ou não - eles olham para dois, o que é realmente muito pior do que o # 2 era, eles desistem porque o resultado que deveria estar em # 4 e foi na verdade, em # 2 era tão ruim que clicaram em # 1. "

- Paul Haahr na SMX West 2016, explicando um experimento ao vivo do Google levando a métricas de cliques não convencionais.

Outra tendência interessante que Paul cita é que a posição # 10 recebe "muito mais cliques" do que as posições # 8 e # 9 juntas. Porque? Porque é o último resultado antes da próxima página, e ninguém quer clicar para a próxima página.

Mesmo assim, # 10 tem desempenho pior do que a posição # 7.

O ponto de tudo isso? O CTR é um sinal extremamente difícil de usar, geralmente o resultado de tendências estranhas e comportamento humano imprevisível .

16: O que você está lendo agora?

Paulo lê "muito jornalismo e poucos livros". Ele também ouve muitos livros de áudio em seu trajeto entre San Francisco e Mountain View.

Livros que Paulo menciona:

• A cidade de Garth Risk Hallberg em chamas
• e Sinclair Lewis ' Não pode acontecer aqui .

... e pronto!

Perguntas? Comentários? Pensamentos? Deixe-os abaixo!