Fragen und Antworten mit Paul Haahr, Ranking Engineer bei Google, SMX West 2016

Vor kurzem erhielt die SEO-Branche ein seltenes Stück Transparenz und Einblicke von einem Google-Mitarbeiter. Insbesondere ein Mitglied ihrer Ranking-Engineering-Abteilung: eine Person, die direkt zum Algorithmus von Google beiträgt.

Paul Haahr, seit 14 Jahren Software Engineer bei Google, hielt im März auf der SMX West einen Vortrag über die Funktionsweise von Google aus seiner Sicht als Ranking Engineer. Ein paar Deckungsbeiträge:

• Vollständiges Video hier.
• Meine Berichterstattung und Gedanken hier.
• Rae Hoffmans Berichterstattung hier (verpassen Sie nicht die Kommentare!).
• Die vollständige Abschrift der Präsentation von Richard Baxter.

Dieser Beitrag befasst sich mit den Fragen und Antworten, die Danny Sullivan nach seiner Präsentation mit Paul leitete, der von Gary Iylles, einem Webmaster Trends Analyst bei Google, begleitet wurde. Vollständiges Video unten:

Im Q&A wurden 16 Fragen gestellt. Nehmen wir sie einzeln.

Hinweis: Ich werde Antworten basierend auf meinem eigenen Verständnis paraphrasieren. Wenn Sie die vollständige Antwort sehen möchten, schlage ich vor, dass Sie sich das Video ansehen. Bei jeder Frage ist das Video bis zu dem Punkt eingebettet, an dem Danny die Frage stellt.

1. Sind Scherben an verschiedenen Stellen Bestandteil des Gesamtindex?

Der Index ist die Summe aller Shards zusammen.

Google verfügt über ein großes Netzwerk sehr großer Maschinen, und sie wählen die Shard-Größen aus, um diese sehr großen Maschinen zu füllen. Es hört sich so an, als wären Shards Googles Weg, um mit dem Problem der Skalierung umzugehen und die Größe des Index überschaubar zu machen.

2. Wie passt RankBrain in all das?

1. RankBrain werden bestimmte Teilmengen von Signalen im Algorithmus bereitgestellt (unklar welche Signale).
2. RankBrain ist ein maschinelles Lernsystem (Deep Learning? Paul korrigiert sich selbst zu Deep Learning), das eigene Ideen hat, wie man Signale kombiniert und Dokumente versteht.
3. Google versteht, wie RankBrain funktioniert (nach viel Mühe), aber sie verstehen nicht, was es genau tut.
4. RankBrain verwendet viel von dem, was Google über Deep Learning veröffentlicht hat.
5. Eine Schicht dessen, was RankBrain tut, sind word2vec und Worteinbettungen.
6. RankBrain wird nach der späten Post-Retrieval-Phase im Leben einer Abfrage gestartet. (Paul bezeichnet dies als "Box").

3. Woher kennt RankBrain die Autorität einer Seite? Woher kennt es die Qualität?

RankBrain verfügt über robuste Trainingsdaten, die diese Funktionalität verbessern sollen. Es sieht Signale zusätzlich zu Abfragen und Webseiten.

Für mich klingt es so, als ob RankBrain nicht die Autorität oder Qualität einer Seite bestimmen muss. Es hat diese Informationen bereits gefüttert.

4. Welche Conversion-Ziele verfolgt Google beim Testen von Ranking-Algorithmus-Verfeinerungen? Gibt es konsistente Ziele, an denen alle Updates gemessen werden?

Google hatte früher eine Metrik namens "Next Page Rate", die im Wesentlichen misst, wie oft Personen auf die zweite Ergebnisseite geklickt haben. Das Konzept der ersten Seite war keine großartigen Ergebnisse. Dies könnte jedoch leicht gespielt/manipuliert werden.

Insbesondere Leerräume würden die Wahrscheinlichkeit verringern, dass Nutzer auf die zweite Seite der Suche klicken.

[geschnittene Szene im Video]

Hinweis: Eine ähnliche Frage wird später um 8:50 Uhr gestellt. Scrollen Sie nach unten zu Frage 8, um das Video und die Antwort anzuzeigen.

5. Als erstes müssen Sie feststellen, ob eine Abfrage eine Entität enthält. War das etwas, was Sie vor fünf Jahren getan haben?

Das begann zeitgleich mit dem Knowledge Graph und den Knowledge Panels. Es ist der Schlüssel zu diesen Prozessen.

Das war nichts, was Google vor der Einführung des Knowledge Graph im Jahr 2011 getan hat.

6. Wenn jemand in eine Google-App eingeloggt ist, unterscheiden Sie dann anhand der gesammelten Informationen? Kann sich die Anwesenheit in Google Now im Vergleich zu Google Chrome auf die Suche auswirken?

Die eigentliche Frage ist, ob Sie eingeloggt sind oder nicht.

Wenn Sie eingeloggt sind, führt Google die Personalisierung der Suche ein. Google möchte Nutzern ein einheitliches Sucherlebnis bieten, das auf Ihren Interessen und den Anzeigen in Google Now-Karten basiert.

Solange Sie eingeloggt sind und die Personalisierung der Suche nicht deaktiviert haben, haben Sie die Personalisierung in Ihren Sucherlebnissen.

Es ist wahrscheinlicher, dass Ihnen die Suche auf Ihren Geräten folgt als Lesezeichen.

7. Liefert Google zu unterschiedlichen Tageszeiten unterschiedliche Ergebnisse für dieselbe Abfrage? Lokale Karten scheinen sich mit den Geschäftszeiten zu ändern.

Weder Paul noch Gary waren sich sicher, obwohl beide der Meinung waren, dass die Öffnungszeiten keinen Einfluss auf eine Anfrage haben würden.

Google würde Wert darauf legen, Öffnungszeiten (und Betriebszeiten) anzuzeigen, wenn das Geschäft geschlossen wäre, aber keiner schien zu glauben, dass die Öffnungszeiten einen Einfluss darauf haben würden, ob eine Karte in den Suchergebnissen vorhanden ist oder nicht.

Nur weil ein Unternehmen geschlossen ist (oder kurz vor der Schließung steht), bedeutet das nicht, dass der Suchende nicht an seinem physischen Standort interessiert ist.

8. Wie ermittelt Google positive oder negative Veränderungen in Experimenten mit menschlichen Bewertern? Gibt es einen Gewinner-/Verliererbericht nach Abfragen?

Google verfügt über einen zusammenfassenden Bericht zu jedem Test, der die Leistung des Tests anhand einer Reihe verschiedener Messwerte (die je nach Experiment variieren) zeigt, die alle beteiligte Abfragen enthalten.

Es gibt Klassifikationen für Siege und Niederlagen. Im zuvor erwähnten Beispiel – der Düngemittelabfrage, die eine Karte anzeigte – wurde sie als Gewinn kategorisiert. Menschen überprüfen die Metriken und Ergebnisse. In diesem Fall bezeichnete Paul sich jedoch selbst als das Fangen der schlechten Ergebnisse, die als Gewinn gemeldet werden.

Paul legt Wert darauf zu sagen, dass menschliche Bewerter im Großen und Ganzen großartig sind, aber Fehler machen. Insbesondere menschliche Bewerter sind von bestimmten Funktionen begeistert, auch wenn die Funktionen keinen Mehrwert bieten.

9. Was passiert mit Panda und Pinguin?

Paul hat keine Antwort. Er legt Wert darauf zu sagen, dass Panda und Pinguin beide in der "Box" für die Wertung und das Abrufen berücksichtigt werden.

Danny richtet den Fokus auf Gary, der dafür berüchtigt ist, in den letzten sechs Monaten immer wieder gesagt zu haben, dass Penguin kurz vor dem Start stand. Tatsächlich sagte Gary, dass Penguin vor dem neuen Jahr (Januar 2016) auf den Markt kommen würde.

Offensichtlich sind Garys Vorhersagen nicht aufgegangen.

Gary berichtet, dass er es aufgegeben hat, über einen Zeitpunkt zu berichten, zu dem Penguin starten wird. Er weiß, dass Ingenieure speziell daran arbeiten, aber nachdem er sich dreimal geirrt hat, ist er nicht bereit, ein Datum oder einen Zeitrahmen zu nennen.

Paul erwähnt noch einmal den langen Iterationszyklus der Einführung neuer Rankingsignale und Algorithmen.

10: Sie haben von einer Einführung gesprochen, die zwei Jahre gedauert hat. War das Pinguin?

Die zweijährige Markteinführung, über die Paul sprach, war nicht Penguin.

Der Start war ein halber Rang-Halb-Feature-Start. Es war ihr erster Versuch der Rechtschreibkorrektur, der die Hälfte der SERPs einnahm und Ergebnisse für einen Rechtschreibfehler anstelle einer "Meinten Sie"-Funktion anzeigte.

Die erste gestartete Iteration dieser Funktion erforderte erhebliche Umschreibungen (vermutlich um in den Algorithmus zu passen).

11: Sie erwähnen die Expertise eines bestimmten Autors. Wie identifizieren und verfolgen Sie die Autorität des Autors für Themen?

Paul kann hier nicht ins Detail gehen. Menschliche Bewerter in Experimenten müssen dies jedoch manuell für Seiten tun, die sie sehen . Google vergleicht seine eigenen Metriken mit den Ergebnissen der menschlichen Bewerter und validiert (oder entwertet) dadurch ihre eigenen Metriken.

12: Wird Autorität als direkter oder indirekter Rankingfaktor verwendet?

Es gibt keine einfache Antwort: Paul kann nicht ja oder nein sagen. Es ist komplizierter, als die Frage vermuten lässt.

13: Sollen wir uns weiterhin mit rel=author beschäftigen?

Gary sagt, dass es mindestens ein Team gibt, das sich weiterhin mit der Verwendung des rel=author-Tags befasst.

Gary würde nicht empfehlen, das Tag für neue Seiten zu erstellen, aber er würde auch nicht empfehlen, das rel=author-Tag aus alten Seiten zu ziehen. Das Tag schadet nichts und kann in Zukunft für etwas verwendet werden.

14: Wie vermeiden Sie, dass Qualitätsbewerter eine Verzerrung der Markenbekanntheit haben?

Menschliche Bewerter werden vor den Experimenten gebeten, Nachforschungen anzustellen, aber Paul räumt ein, dass sie oft eine Voreingenommenheit haben.

Paul sagt, dass es Metriken gibt, die dieser Verzerrung entgegenwirken sollen, und dass diese Metriken speziell nicht im Qualitätssignal enthalten sind.

Interessanterweise sagt Paul beiläufig: "Ich habe noch nicht begonnen, alle Metriken durchzugehen, die wir uns tatsächlich ansehen."

Daraus folgt, dass es viele Metriken jenseits von Relevanz und Qualität gibt, die in Experimenten untersucht werden.

Paul legt Wert darauf, dass es viele kleine Websites gibt, die eine Qualitätsbewertung erhalten, "weil die Bewerter eine gründliche Arbeit leisten. Sie scheinen gut darin zu sein, dies herauszufinden."

15: Ist die Click-Through-Rate (CTR) ein Ranking-Signal?

Paul bestätigt, dass CTR sowohl in Experimenten als auch in der Personalisierung verwendet wird.

Die Verwendung der Metrik ist jedoch unter allen Umständen schwierig.

Gary mischt sich ein, um zu sagen, dass es selbst bei kontrollierten Gruppen schwierig ist, Engagement richtig zu interpretieren.

Paul stimmt zu, dass viele durchgeführte Experimente irreführende Live-Metriken aufweisen. Als Beispiel nennt er die Snippets sowie die in Frage 4 erwähnte "Next Page Rate".

Paul zitiert auch ein langjähriges Live-Experiment, bei dem die Ergebnisse 2 und 4 in den Suchergebnissen vertauscht wurden. Es wurde randomisiert und nur für 0,02% der Benutzer. Das Ergebnis? Viele mehr Leute haben auf das Ergebnis Nr. 1 geklickt. Paulus erklärt dies:

"Sie sehen #1 – sie wissen nicht, ob es ihnen gefällt oder nicht – sie sehen sich zwei an, was wirklich viel schlimmer ist als #2, sie geben auf, weil das Ergebnis, das bei #4 hätte sein sollen, war eigentlich war #2 so schlecht, dass sie auf #1 klicken."

— Paul Haahr auf der SMX West 2016, der ein Google-Live-Experiment erklärt, das zu unkonventionellen Klickmetriken führte.

Eine weitere interessante Voreingenommenheit, die Paul anführt, ist, dass Position Nr. 10 "viel mehr Klicks" erhält als Position Nr. 8 und Nr. 9 zusammen. Wieso den? Weil es das letzte Ergebnis vor der nächsten Seite ist und niemand auf die nächste Seite klicken möchte.

Trotzdem schneidet #10 schlechter ab als Position #7.

Der Sinn von all dem? CTR ist ein extrem schwierig zu verwendendes Signal, das oft das Ergebnis seltsamer Vorurteile und unvorhersehbarem menschlichem Verhalten ist .

16: Was liest du gerade?

Paul liest "viel Journalismus und sehr wenige Bücher". Auf seiner Fahrt zwischen San Francisco und Mountain View hört er auch viele Hörbücher.

Bücher, die Paulus erwähnt:

• Garth Risk Hallbergs Stadt in Flammen
• und Sinclair Lewis' Es kann hier nicht passieren .

...und das ist ein Wrap!

Fragen? Kommentare? Die Gedanken? Lass sie unten!