Questions-réponses avec Paul Haahr, ingénieur de classement chez Google, SMX West 2016

Récemment, l'industrie du référencement a reçu un peu de transparence et de perspicacité de la part d'un membre du personnel de Google. Plus précisément un membre de leur division d'ingénierie de classement : une personne qui contribue directement à l'algorithme de Google.

Paul Haahr, ingénieur logiciel chez Google depuis 14 ans, a fait une présentation à SMX West en mars sur le fonctionnement de Google, de son point de vue en tant qu'ingénieur de classement. Quelques couvertures :

• Vidéo complète ici.
• Ma couverture et mes réflexions ici.
• La couverture de Rae Hoffman ici (ne manquez pas les commentaires !).
• Transcription complète de la présentation de Richard Baxter.

Cet article couvrira les questions-réponses que Danny Sullivan a dirigées avec Paul après sa présentation, qui a été rejoint par Gary Iylles, Webmaster Trends Analyst chez Google. Vidéo complète ci-dessous :

Dans le Q&R, 16 questions ont été posées. Prenons-les un à la fois.

Remarque : Je vais paraphraser les réponses en fonction de ma propre compréhension. Si vous voulez voir la réponse complète, je vous suggère de regarder la vidéo. Chaque question a la vidéo intégrée au point où Danny pose la question.

1. Les fragments font-ils partie de l'indice global à divers endroits ?

L'indice est la somme de tous les fragments ensemble.

Google possède un vaste réseau de très grosses machines, et ils choisissent les tailles de fragments pour remplir ces très grosses machines. Il semble que les fragments soient le moyen utilisé par Google pour résoudre le problème d'échelle, ce qui rend la taille de l'index gérable.

2. Comment RankBrain s'intègre-t-il dans tout cela ?

1. RankBrain fournit certains sous-ensembles de signaux dans l'algorithme (on ne sait pas quels signaux).
2. RankBrain est un système d'apprentissage automatique (apprentissage profond ? Paul se corrige en apprentissage profond) qui a ses propres idées sur la façon de combiner des signaux et de comprendre des documents.
3. Google comprend comment fonctionne RankBrain (après beaucoup d'efforts), mais ils ne comprennent pas ce qu'il fait exactement.
4. RankBrain utilise une grande partie de ce que Google a publié sur l'apprentissage en profondeur.
5. Une couche de ce que fait RankBrain est word2vec et word embeddings.
6. RankBrain démarre après la phase de post-récupération tardive dans la vie d'une requête. (Paul appelle cela une "boîte").

3. Comment RankBrain connaît-il l'autorité d'une page ? Comment connaît-il la qualité?

RankBrain dispose de données d'entraînement robustes, destinées à améliorer cette fonctionnalité. Il voit des signaux en plus des requêtes et des pages Web.

Pour moi, il semble que RankBrain n'ait pas besoin de déterminer l'autorité ou la qualité d'une page. Il a déjà alimenté cette information.

4. Quels objectifs de conversion Google a-t-il lorsqu'il teste les améliorations de l'algorithme de classement ? Existe-t-il des objectifs cohérents par rapport auxquels toutes les mises à jour sont mesurées ?

Google avait l'habitude d'avoir une métrique appelée "Taux de la page suivante" qui mesurait essentiellement la fréquence à laquelle les gens ont cliqué sur la deuxième page de résultats. Le concept étant la première page n'était pas d'excellents résultats. Cependant, cela pourrait être facilement manipulé/manipulé.

L'espace blanc, en particulier, réduirait la probabilité que des personnes cliquent sur la page deux de la recherche.

[scène coupée dans la vidéo]

Remarque : une question similaire est posée plus tard, à 8h50. Faites défiler jusqu'à la question n°8 pour voir la vidéo et la réponse.

5. L'une des premières choses que vous faites est de déterminer si une requête contient une entité. C'est quelque chose que vous avez fait il y a cinq ans ?

Cela a commencé en même temps que le Knowledge Graph et les Knowledge Panels. C'est la clé de ces processus.

Ce n'était pas quelque chose que Google faisait avant de lancer le Knowledge Graph en 2011.

6. Si quelqu'un est connecté à une application Google, vous différenciez-vous par les informations que vous collectez ? Le fait d'être dans Google Now par rapport à Google Chrome peut-il avoir un impact sur la recherche ?

La vraie question est de savoir si vous êtes connecté ou non.

Si vous êtes connecté, Google apporte la personnalisation de la recherche. Google souhaite offrir une expérience de recherche cohérente aux utilisateurs, en fonction de vos intérêts, ainsi que de ce qui est affiché dans les cartes Google Now.

Tant que vous êtes connecté et que vous n'avez pas désactivé la personnalisation de la recherche, vous bénéficierez d'une personnalisation dans vos expériences de recherche.

Il est plus probable que la recherche vous suive sur tous vos appareils que les signets.

7. Google fournit-il des résultats différents pour la même requête à différents moments de la journée ? Les cartes locales semblent changer avec les heures d'ouverture.

Ni Paul ni Gary n'en étaient sûrs, même si tous deux semblaient penser que les heures d'ouverture n'affecteraient pas une requête.

Google se ferait un devoir d'afficher les heures de fermeture (et les heures d'ouverture) si l'entreprise était fermée, mais aucun des deux ne semblait penser que les heures auraient une incidence sur la présence ou non d'une carte dans les résultats de recherche.

Ce n'est pas parce qu'une entreprise est fermée (ou sur le point de fermer) que le chercheur n'est pas intéressé par son emplacement physique.

8. Comment Google détermine-t-il les changements positifs ou négatifs dans les expériences avec des évaluateurs humains ? Existe-t-il un rapport gagnants/perdants par requêtes ?

Google a un rapport récapitulatif sur chaque expérience, comment l'expérience s'est déroulée selon un ensemble de métriques différentes (qui varient en fonction de l'expérience), qui incluent toutes chaque requête impliquée.

Il existe des classements sur les victoires et les défaites. Dans l'exemple mentionné précédemment, la requête d'engrais qui affichait une carte, elle a été classée comme gagnante. Les humains examinent les mesures et les résultats. Cependant, dans ce cas, Paul s'est référé à lui-même comme ayant attrapé les mauvais résultats qui sont rapportés comme une victoire.

Paul met un point d'honneur à dire que les évaluateurs humains sont géniaux dans l'ensemble, mais qu'ils commettent des erreurs. Plus précisément, les évaluateurs humains sont enthousiasmés par certaines fonctionnalités, même si les fonctionnalités n'ajoutent pas de valeur.

9. Que se passe-t-il avec Panda et Pingouin ?

Paul n'a pas de réponse. Il tient à dire que Panda et Penguin sont tous deux pris en compte dans la "boîte" de notation et de récupération.

Danny redirige l'attention sur Gary, qui est tristement célèbre pour avoir répété à plusieurs reprises au cours des six derniers mois que Penguin était proche du lancement. En fait, Gary a déclaré que Penguin serait lancé avant la nouvelle année (janvier 2016).

De toute évidence, les prédictions de Gary n'ont pas abouti.

Gary rapporte qu'il a renoncé à signaler un moment où Penguin sera lancé. Il sait que les ingénieurs y travaillent spécifiquement, mais après s'être trompé trois fois, il n'est pas disposé à dire une date ou un calendrier.

Paul mentionne à nouveau le long cycle d'itération du lancement de nouveaux signaux et algorithmes de classement.

10 : Vous avez parlé d'un lancement qui a pris deux ans. C'était le Pingouin ?

Le lancement de deux ans dont Paul a parlé n'était pas Penguin.

Le lancement était un lancement mi-classement-mi-fonctionnalité. C'était leur première tentative de correction orthographique qui a pris plus de la moitié des SERP, montrant des résultats pour une faute d'orthographe, au lieu d'une fonction "Voulez-vous dire".

La première itération lancée de cette fonctionnalité a nécessité des réécritures considérables (vraisemblablement pour s'intégrer dans l'algorithme).

11 : Vous mentionnez l'expertise d'un auteur donné. Comment identifiez-vous et suivez-vous l'autorité de l'auteur pour les sujets ?

Paul ne peut pas entrer dans les détails ici. Cependant, les évaluateurs humains dans les expériences sont chargés de le faire manuellement pour les pages qu'ils voient . Google compare ses propres métriques à ce que les évaluateurs humains trouvent, validant (ou invalidant) ainsi leurs propres métriques.

12 : L'autorité de l'auteur est-elle utilisée comme facteur de classement direct ou indirect ?

Il n'y a pas de réponse simple : Paul ne peut pas dire oui ou non. C'est plus compliqué que la question ne le laisse supposer.

13 : Devrions-nous continuer à nous embêter avec rel=author ?

Gary dit qu'il y a au moins une équipe qui continue de chercher à utiliser la balise rel=author.

Gary ne recommanderait pas de créer la balise pour les nouvelles pages, mais ne recommanderait pas non plus de retirer la balise rel=author des anciennes pages. La balise ne fait de mal à rien, et elle peut être utilisée pour quelque chose dans le futur.

14 : Comment éviter que les évaluateurs de qualité aient un biais de familiarité avec la marque ?

Les évaluateurs humains, avant les expériences, sont invités à faire des recherches, mais Paul reconnaît qu'ils ont souvent un biais.

Paul dit qu'il existe des métriques en place qui sont destinées à contrecarrer ce biais, et que ces métriques ne sont spécifiquement pas dans le signal de qualité.

Fait intéressant, Paul dit avec désinvolture : « Je n'ai pas commencé à passer en revue toutes les mesures que nous examinons réellement. »

L'implication, alors, est qu'il existe de nombreuses métriques au-delà de la pertinence et de la qualité qui sont examinées dans les expériences.

Paul met un point d'honneur à dire qu'il existe de nombreux petits sites qui obtiennent une note de qualité, "parce que les évaluateurs font un travail minutieux. Ils semblent être bons pour comprendre cela."

15 : Le taux de clics (CTR) est-il un signal de classement ?

Paul confirme que le CTR est utilisé dans les expériences, ainsi que dans la personnalisation.

La métrique est cependant difficile à utiliser en toutes circonstances.

Gary intervient pour dire que même avec des groupes contrôlés, il est difficile d'interpréter correctement l'engagement.

Paul convient que de nombreuses expériences qui ont été faites qui ont des mesures en direct trompeuses. L'exemple qu'il cite est celui des extraits, ainsi que du "Taux de la page suivante" mentionné à la question n° 4.

Paul cite également une expérience en direct de longue date qui a échangé les résultats 2 et 4 dans les résultats de recherche. Il a été randomisé et uniquement pour 0,02% des utilisateurs. Le résultat? Beaucoup plus de personnes ont cliqué sur le résultat #1. Paul explique ceci :

"Ils voient #1 - ils ne savent pas s'ils l'aiment ou non - ils regardent deux, ce qui est vraiment bien pire que #2, ils abandonnent parce que le résultat qui aurait dû être à #4 et était en fait à #2 était si mauvais qu'ils cliquent sur #1."

— Paul Haahr à SMX West 2016, expliquant une expérience en direct de Google menant à des métriques de clics non conventionnelles.

Un autre biais intéressant cité par Paul est que la position n°10 obtient "beaucoup plus de clics" que les positions n°8 et n°9 réunies. Pourquoi? Parce que c'est le dernier résultat avant la page suivante, et personne ne veut cliquer sur la page suivante.

Même quand même, la n°10 est moins performante que la position n°7.

L'intérêt de tout ça ? Le CTR est un signal extrêmement difficile à utiliser, souvent le résultat de biais étranges et d'un comportement humain imprévisible .

16 : Qu'est-ce que vous lisez en ce moment ?

Paul lit "beaucoup de journalisme et très peu de livres". Il écoute également beaucoup de livres audio sur son trajet entre San Francisco et Mountain View.

Les livres que Paul mentionne :

• La ville de Garth Risk Hallberg en feu
• et It Can't Happen Here de Sinclair Lewis.

... et c'est un enveloppement !

Des questions? Commentaires? Les pensées? Laissez-les ci-dessous!