Come funziona Google: la storia di un ingegnere del ranking di Google – Copertura e analisi di SMX West 2016

Ciao amici. Di tanto in tanto qui su Linkarati copriamo notizie, tendenze o presentazioni che riteniamo valga la pena condividere e ampliare.

Oggi mi sono imbattuto in un tweet avvincente di Rae Hoffman:

se hai visto questo https://t.co/JN9T1IOBjc e non hai passato tempo a guardarlo e a farlo, buona fortuna per la tua carriera SEO pic.twitter.com/YliYKcSFdq

— Rae Hoffman (@sugarrae) 31 marzo 2016

Il collegamento porta al video di SMX di Paul Haahr, Software Engineer presso Google per 14 anni, che sta tenendo una presentazione a SMX West 2016 su come funziona Google, dal suo punto di vista di Google Ranking Engineer.

Come dice Danny Sullivan, che presenta Paul, il titolo di Paul non riflette il fatto che faccia parte della dirigenza senior del team di classificazione di Google .

Come SEO, questo dovrebbe farti battere il cuore.

Danny ribadisce quanto siamo fortunati noi (la comunità SEO) ad avere Paul presente. E come puoi vedere dal suo tweet, Rae crede fermamente che questo sia qualcosa che ogni SEO deve guardare in profondità, oltre a prendere appunti. Chi sono io per litigare?

Ho spesso scoperto che scrivere la copertura di una presentazione mi insegna anche di più che prendere appunti, dal momento che devo fare un ulteriore passo avanti e scrivere note che gli altri possono capire e apprezzare. Aggiunge ancora un altro strato di pensiero critico.

Ho deciso di fare proprio questo, sia per capire meglio il materiale che per aiutarti a digerire la presentazione più velocemente. Win-win, giusto? Nota: Rae ha i suoi appunti e la sua copertura qui.

Ti consiglio di seguire il video, che sarà incorporato in tutto. Di seguito ho anche incorporato la presentazione di Paul da Slideshare, da cui taglierò e pubblicherò immagini fisse per accompagnare la mia copertura.

Siediti, divertiti e fammi sapere cosa ne pensi.

Entriamo in esso.

Nota: Emanuele Vaccari ha tradotto questo post in italiano, insieme ad alcuni suoi pensieri. Puoi vedere il suo post tradotto qui.

Che cosa fa un ingegnere del ranking di Google

In realtà infrangerò subito una delle mie regole per la copertura e ignorerò l'ordine cronologico (ma solo per ora — esaminerò la presentazione in ordine cronologico, dopo questa sezione).

Paul aveva un tema incorporato in tutta la sua presentazione che, secondo me, è servito da spina dorsale della sua presentazione. Il tema è "cosa fanno gli ingegneri di ranking?" .

C'erano quattro versioni di questa risposta, secondo Paul, ognuna delle quali raffinava leggermente il ruolo di ingegnere di rango:

1. Scrivi il codice per quei server [ricerca di Google]. Fonte: diapositiva 16
2. Cerca nuovi segnali. Combina i vecchi segnali in modi nuovi. Fonte: diapositiva 19
3. Ottimizza per le nostre metriche [pertinenza/intento e qualità del ricercatore]. Fonte: diapositiva 24
4. Aumenta i risultati con valutazioni buone [da esperimenti dal vivo e valutatori umani]. Sposta i risultati con valutazioni negative verso il basso. Fonte: Diapositiva 55

Si prega di notare che le parentesi [ ] indicano le mie interiezioni per chiarire (in modo imperfetto) le diapositive di Paul.

Quindi cosa fa un ingegnere del ranking di Google? La conclusione principale che ho ricevuto: assicurati che la ricerca stia effettivamente migliorando per gli utenti (gli umani). E come lo fanno? Facendo in modo che Google corrisponda meglio alle Linee guida per la valutazione della qualità della ricerca .

Un tweet successivo di Paul a Rae ha nuovamente sottolineato l'importanza delle Linee guida per la valutazione della qualità della ricerca e che i SEO dovrebbero davvero leggere l'intero documento:

.@sugarrae Felice che ti sia piaciuto. Per la trasparenza, penso che le linee guida per i valutatori siano state in realtà un grosso problema. Li hai già letti?https://t.co/llmUQJbkQ8

— Paul Haahr (@haahr) 31 marzo 2016

La mia citazione preferita in assoluto dalla presentazione di Paul è arrivata quando parlava delle linee guida per la valutazione della qualità della ricerca di Google al punteggio 16:08. La citazione stessa è del minuto 16:48, durante la diapositiva 32 della presentazione. Paolo ha detto:

"Se ti stai chiedendo perché Google sta facendo qualcosa, spesso la risposta è far sembrare [ricerca] più simile a ciò che dicono le linee guida del valutatore".

Paul Haahr, Google Ranking Engineer, SMX West 2016

Questa è una dichiarazione potente. Paul riassume tutte le modifiche di Google come un tentativo di soddisfare meglio le Linee guida per la valutazione della qualità della ricerca, che hanno pubblicato! Per farla breve: vuoi capire Google? Vai a leggere le loro linee guida sulla qualità.

Bene, passiamo alla copertura cronologica della presentazione di Paul.

Ricerca Google oggi

Ci sono due temi nella ricerca di Google oggi, secondo Paul:

1. Mobile prima
2. Caratteristiche

I dispositivi mobili sono al primo posto nelle query di ricerca e Google pensa sempre di più ai dispositivi mobili. Questa non è una nuova informazione per i SEO, ma è qualcosa che Paul ha voluto sottolineare.

Il secondo punto che Paul ha sottolineato è stata l'importanza delle funzionalità, in particolare nei dispositivi mobili.

Diapositiva quattro

È interessante notare che Paolo ha detto oggi, riassumendo la ricerca:

"Stiamo andando sempre più in un mondo in cui la ricerca viene considerata come un assistente per tutte le parti della tua vita."

Paul Haahr, Google Ranking Engineer, SMX West 2016

Come funziona la Ricerca Google

Tutti i link di Google erano 10 blu. Paul ha scomposto il problema del posizionamento nell'era dei 10 link blu come "Quali documenti mostriamo? In che ordine li mostriamo?"

Diapositiva sette

Interessante a parte: Paul si è preso un momento per chiarire che non avrebbe mai toccato l'argomento degli annunci. Nello specifico, Paolo ha detto:

"Gli annunci sono fantastici, ci fanno guadagnare un sacco di soldi, funzionano molto bene per gli inserzionisti. Ma il mio lavoro, ci viene detto esplicitamente "non pensare all'effetto sugli annunci, non pensare all'effetto sulle entrate - pensa solo ad aiutare l'utente."

Paul Haahr, Google Ranking Engineer, SMX West 2016

interessante sentire parlare della netta separazione tra chiesa e stato - mi scusi, retribuita e organica.

La vita di una domanda

La spiegazione del ranking di Paul inizia con la vita di una query, per spiegare come funziona la ricerca. Ci sono due parti di un motore di ricerca:

1. In anticipo (prima della query)
2. Elaborazione della domanda.

Prima della domanda:

• Scansiona il web
• Analizza le pagine di scansione
  • Estrai link (la versione classica della ricerca)
  • Renderizzare i contenuti (Javascript, CSS - Paul ha sottolineato l'importanza di questo.)
  • Semantica delle annotazioni
• Costruisci un indice
  • Collega l'indice di un libro
  • Per ogni parola, un elenco di pagine in cui appare
  • Diviso in milioni di pagine
    • Queste pagine sono chiamate "shards"
    • Migliaia di frammenti per l'indice web
  • Più metadati per documento.

Fonte: slide 10 e 11.

Elaborazione delle query (quando qualcuno utilizza la ricerca):

• Comprensione ed espansione delle query
  • La query nomina entità conosciute?
  • Ci sono sinonimi utili?
  • Il contesto conta
• recupero e punteggio
  • Invia la query a tutti i frammenti
  • Ogni frammento:
    • Trova le pagine corrispondenti
    • Calcola un punteggio per query+page
    • Restituisce le prime N pagine per punteggio
  • Combina tutte le prime pagine
  • Ordina per punteggio
• Regolazione post-recupero
  • Clustering host (quante pagine provengono dallo stesso dominio), sitelink
  • C'è troppa duplicazione?
  • Demolizioni spam, azioni manuali applicate d

Fonte: diapositiva 12, 13, 14 e 15.

Segnali di punteggio di Google

Paul fa riferimento a un singolo numero che rappresenta la corrispondenza tra una query e una pagina.

Questo si basa sui segnali di punteggio, che si basano su due categorie:

1. Segnali di punteggio basati su una pagina
2. Segnali di punteggio basati sulla query.

Diapositiva diciotto

Qui Paul ha citato la seconda versione dei lavori di ingegnere di classificazione: cercare nuovi segnali o combinare vecchi segnali in modi nuovi . Paul ha descritto questo come "difficile e interessante".

Metriche chiave nella classifica: pertinenza, qualità, tempo per il risultato

Paul ha sottolineato la pertinenza come metrica chiave nei risultati di ricerca. La pertinenza è stata fondamentalmente spiegata come "corrispondenza dell'intento dell'utente".

Paul si riferisce alla pertinenza come "la nostra metrica principale" e "la grande metrica interna".

Ce ne sono anche altri due: qualità e tempo per il risultato (più veloce è migliore). All'interno di questa presentazione, la pertinenza e la qualità sono state al centro dell'attenzione.

Ponderazione di rango reciproco

CTR (click through rate) sono spesso discussi in SEO, in particolare per le classifiche di ricerca. Qual è il valore di essere il miglior risultato nel biologico rispetto all'essere il numero due? Contro essere il numero quattro? Questo è spesso discusso e dibattuto. Paul ha spiegato il punto di vista di Google, in termini di valore.

Ha definito l'idea come "ponderazione reciprocamente classificata":

Diapositiva ventitre

Per essere chiari, Paul non stava discutendo di CTR. Piuttosto, una metrica interna che valuta intere pagine di ricerca.

L'idea rappresenta una degregazione del 50% in valore di ogni posizione, con il numero uno che vale dieci volte di più del numero dieci della classifica.

Abbastanza affascinante.

E questo ha portato Paul alla versione numero tre di ciò che fanno i Google Ranking Engineers: ottimizzare per le nostre metriche [rilevanza e qualità].

Diapositiva Ventiquattro

In che modo Google valuta i risultati di ricerca?

Paul spiega che ci sono due modi in cui Google analizza l'efficacia di risultati specifici:

1. Esperimenti dal vivo
2. Valutatori umani.

Video qui sotto:

Esperimenti dal vivo

Google esegue test A/B in tempo reale sul traffico reale, quindi cerca i cambiamenti nei modelli di clic.

"Facciamo molti esperimenti. È molto raro se fai una ricerca su Google e non sei in almeno un esperimento."

Paul Haahr, Google Ranking Engineer, SMX West 2016

Paul si prende un momento per spiegare che interpretare gli esperimenti dal vivo è un compito difficile.

Il suo esempio principale (sotto) è un risultato con una casella di risposta. Tradizionalmente, se il ricercatore ha fatto clic sul sito, sarebbe stato visto come un buon risultato. Ma cosa succede se il ricercatore ha visto la risposta, è stato soddisfatto e ha chiuso? Tradizionalmente questo sarebbe considerato un cattivo risultato, ma in questo caso potrebbe effettivamente essere un buon risultato.

Diapositiva Trenta

Il punto dell'esempio di Paul è mostrare quanto sia difficile analizzare la soddisfazione del ricercatore.

Esperimenti di valutatori umani su Google

La conclusione più importante di questa parte è che il mobile-first viene nuovamente enfatizzato qui, con la maggior parte degli esperimenti di valutatori umani che si svolgono su smartphone .

Gli esperimenti sui valutatori umani funzionano come segue:

1. Mostra risultati di ricerca sperimentali a persone reali
2. Chiedi quanto sono buoni i risultati (tasso variabile sia per pertinenza che per qualità)
3. Valutazioni aggregate tra valutatori

Ancora una volta, è estremamente importante notare che Google ha pubblicato le linee guida per la valutazione della qualità della ricerca.

Seriamente, guarda quella clip.

Esempi di valutazione del valutatore della qualità della ricerca

Paul inizia a esaminare esempi e schermate di esperimenti di valutazione della qualità della ricerca al punteggio 16:56

Consiglio di guardare il video per questa parte, poiché molto di ciò che Paul dipende molto dalle diapositive. Per seguire, questa parte della presentazione inizia nella diapositiva 33.

Due scale per giudicare i risultati: pertinenza e qualità

Ci sono due scale che Google fornisce ai valutatori per giudicare la qualità dei risultati:

1. Bisogni soddisfatti (pertinenza)
2. Qualità della pagina

Diapositiva trentacinque

Esperimenti Mobile-First

Paul enfatizza anche il mobile-first.

Lo fanno in cinque modi:

1. Tutte le istruzioni di pertinenza riguardano le esigenze degli utenti mobili.
2. I quaderni mobili sono usati il ​​doppio negli esperimenti.
3. La posizione dell'utente è inclusa negli esperimenti.
4. Lo strumento mostra un'esperienza utente mobile.
5. I valutatori visitano i siti Web utilizzando i loro smartphone.

Non posso sottolineare quanto sia importante. Google sta chiaramente ponendo l'accento sul mobile; non ci sono vie di mezzo qui.

Valutazione dei bisogni soddisfatti - Valutazione della pertinenza

Esistono cinque diverse categorie di pertinenza, che viene definita come "bisogni soddisfatti":

1. Soddisfa completamente
2. Altamente Soddisfacente
3. Soddisfa moderatamente
4. Un po' si incontra
5. Non riesce a incontrarsi.

È importante notare che i valutatori non giudicano con solo cinque opzioni: vengono presentate con una scala mobile che può atterrare ovunque tra una qualsiasi di queste valutazioni.

A partire dalla diapositiva 41, Paul illustra gli esempi di ciascuna valutazione:

Ecco il video di accompagnamento:

Da asporto importanti:

1. "Soddisfa completamente" può esistere solo quando la query non è ambigua e c'è un risultato che può soddisfare completamente ciò che l'utente intende con la query.
2. "Altamente soddisfa" a volte richiede due risultati specifici e separati per soddisfare l'intento dell'utente.
3. "Incontra moderatamente" è generalmente una buona informazione.
4. "Incontra leggermente" è un'informazione accettabile ma non eccezionale, con risultati si spera migliori da visualizzare.
5. "Fails to meet" è ridicolo, con Paul che cita i bug di ricerca che restituiscono cattivi risultati.

Valutazione della qualità della pagina

Google prende in considerazione tre concetti importanti per descrivere la qualità di una pagina:

1. Competenza
2. autorevolezza
3. Affidabilità.

La scala della qualità va dall'alto verso il basso.

Pagine di alta qualità:

• Soddisfacente quantità di contenuti principali di alta qualità.
• Competenza, autorità e fiducia sono chiare.
• Il sito ha una buona reputazione.

Diapositiva Cinquanta

Pagine di bassa qualità:

• La qualità dei contenuti è bassa
• Non c'è molto contenuto principale
• Nessuna competenza o autorità mostrata
• Il sito ha una reputazione negativa
• I contenuti secondari (annunci) sono fonte di distrazione.

Diapositiva Cinquantuno

Ottimizzazione delle metriche sulla qualità della ricerca

Alcune centinaia di informatici lavorano nell'ingegneria di alto livello. Si concentrano su metriche e segnali, eseguono esperimenti costanti, apportano molti cambiamenti, il tutto per migliorare i risultati di ricerca di Google (e riflettere in modo più accurato le linee guida per la valutazione della qualità della ricerca.

Il processo di sviluppo è abbastanza standard per il processo di sviluppo del software.

Diapositiva Cinquantaquattro

Punti salienti importanti:

1. Il processo può richiedere da settimane a mesi per testare il codice.
2. Gli analisti quantitativi (fondamentalmente statistici) rivedono i dati. Mantengono onesti gli ingegneri della classifica, fornendo un'analisi per lo più imparziale del cambiamento.
3. Un pannello di revisione del lancio esamina un riepilogo del progetto, esamina la documentazione e i rapporti e discute i meriti della modifica della classifica.
4. Spingere effettivamente l'aggiornamento in tempo reale può essere veloce o lento, a seconda di quanto è pronto il codice per l'algoritmo.

Gli ingegneri di classificazione creano questi aggiornamenti principalmente per spostare i risultati con valutazioni buone verso l'alto e per spostare i risultati con valutazioni negative verso il basso.

Cosa va storto nel processo di sviluppo

Paul parla di due tipi di problemi:

1. Valutazioni sistematicamente negative.
2. Metriche che non catturano i concetti a cui tengono.

Valutazioni sistematicamente negative

Paul usa l'esempio di [concime agricolo del Texas]. Si scopre che questo è un marchio di fertilizzante, ma Google stava restituendo il produttore. È improbabile che le persone vogliano effettivamente una mappa per il produttore, ma preferirebbero vedere il prodotto reale. Tuttavia, i valutatori umani valutano costantemente questo come un risultato "altamente soddisfa i bisogni" .

Ciò ha effettivamente portato a un modello di aggiunta di più mappe, che in realtà ha creato risultati molto apprezzati ma in realtà esperienze di ricerca dal vivo scadenti.

Metriche mancanti

Paul cita il problema che Google stava riscontrando con la qualità nel 2008-2011. In particolare, il problema con le content farm .

Le content farm possono produrre contenuti di bassa qualità e molto pertinenti. Ciò ha portato a risultati molto apprezzati che in realtà erano di bassa qualità. Le content farm sono ciò che ha portato Google a implementare il secondo dispositivo di scorrimento nei suoi esperimenti di valutazione umana, giudicando la qualità dei risultati.

È assolutamente affascinante ascoltare Paul discutere il problema con le content farm e l'effetto sulla qualità della ricerca e come l'implementazione di un'altra metrica per giudicare l'efficacia dei risultati di ricerca abbia superato il problema.

È anche affascinante che qui non si parli di Panda, che è il modo in cui Google ha gestito algoritmicamente le content farm.

La soluzione alle metriche mancanti, secondo Paul, è fissare le linee guida per i valutatori o sviluppare nuove metriche (quando necessario).

Diapositiva sessantasette

E questa è l'intera presentazione di Paul!

Considerazioni finali e conclusioni

Solo alcune considerazioni finali per concludere questo lungo post.

1. Prima o poi leggerò le Linee guida per i valutatori della qualità della ricerca. Dovresti anche tu. Paul ha sottolineato che tutte le modifiche apportate alle classifiche di ricerca dovrebbero riflettere quel documento. Vuoi capire il ranking di Google? (come SEO, la risposta dovrebbe essere un sonoro "S!") Quindi leggi quel documento.
2. Google è davvero mobile-first. Tutti gli esperimenti sui valutatori umani enfatizzano pesantemente le esperienze mobile-first, in misura sorprendente.
3. Quasi ogni ricerca include un esperimento dal vivo.
4. La pertinenza è la metrica numero uno in Google. Definiscono "rilevanza" come soddisfare i bisogni dell'utente (umano) all'interno della ricerca. Se vuoi posizionarti più in alto, pensa a soddisfare le aspettative e le esigenze dei ricercatori.
5. Google attribuisce molto più valore al primo risultato. Ogni risultato successivo degrada del 50% del valore del risultato precedente. Il risultato n. 1 considera dieci volte più prezioso del risultato n. 10.

Sono sicuro che ci sono altre cose importanti da asporto, ma il mio cervello è ufficialmente fritto. Il feedback è il benvenuto: spero che ti sia piaciuta la copertura.