Preguntas y respuestas con Paul Haahr, ingeniero de clasificación de Google, SMX West 2016

Recientemente, la industria del SEO recibió un poco de transparencia y conocimiento por parte de un miembro del personal de Google. Específicamente un miembro de su división de ingeniería de clasificación: una persona que contribuye directamente al algoritmo de Google.

Paul Haahr, ingeniero de software de Google durante los últimos 14 años, dio una presentación en SMX West en marzo sobre cómo funciona Google, desde su perspectiva como ingeniero de clasificación. Algunas piezas de cobertura:

• Video completo aquí.
• Mi cobertura y pensamientos aquí.
• La cobertura de Rae Hoffman aquí (¡no te pierdas los comentarios!).
• Transcripción completa de la presentación de Richard Baxter.

Esta publicación cubrirá las preguntas y respuestas que Danny Sullivan dirigió con Paul después de su presentación, a quien se unió Gary Iylles, analista de tendencias para webmasters de Google. Video completo a continuación:

En la sesión de preguntas y respuestas se formularon 16 preguntas. Vamos a tomarlos uno a la vez.

Nota: parafrasearé las respuestas según mi propio entendimiento. Si desea ver la respuesta completa, le sugiero que vea el video. Cada pregunta tiene el video incrustado hasta el punto en que Danny hace la pregunta.

1. ¿Los fragmentos forman parte del índice general en varios lugares?

El índice es la suma de todos los fragmentos juntos.

Google tiene una gran red de máquinas muy grandes y eligen los tamaños de fragmentos para llenar estas máquinas tan grandes. Parece que los fragmentos son la forma que tiene Google de abordar el problema de la escala, lo que hace que el tamaño del índice sea manejable.

2. ¿Cómo encaja RankBrain en todo esto?

1. RankBrain proporciona ciertos subconjuntos de señales en el algoritmo (no está claro qué señales).
2. RankBrain es un sistema de aprendizaje automático (¿aprendizaje profundo? Paul se corrige a sí mismo al aprendizaje profundo) que tiene sus propias ideas sobre cómo combinar señales y comprender documentos.
3. Google entiende cómo funciona RankBrain (después de mucho esfuerzo), pero no comprenden qué está haciendo exactamente.
4. RankBrain utiliza gran parte de lo que Google ha publicado sobre aprendizaje profundo.
5. Una capa de lo que hace RankBrain es word2vec y las incrustaciones de palabras.
6. RankBrain se inicia después de la última fase posterior a la recuperación en la vida de una consulta. (Pablo se refiere a esto como una "caja").

3. ¿Cómo sabe RankBrain la autoridad de una página? ¿Cómo conoce la calidad?

RankBrain tiene datos de entrenamiento sólidos, destinados a mejorar esta funcionalidad. Ve señales además de consultas y páginas web.

Para mí, parece que RankBrain no necesita determinar la autoridad o la calidad de una página. Ya ha alimentado esa información.

4. ¿Qué objetivos de conversión tiene Google al probar los refinamientos del algoritmo de clasificación? ¿Hay objetivos consistentes con los que se miden todas las actualizaciones?

Google solía tener una métrica llamada "Tasa de página siguiente" que básicamente medía la frecuencia con la que la gente hacía clic en la segunda página de resultados. El concepto de ser la primera página no fue un gran resultado. Sin embargo, esto podría manipularse fácilmente.

El espacio en blanco, específicamente, reduciría la probabilidad de que las personas hagan clic en la página dos de la búsqueda.

[cortar escena en el video]

Nota: Se hace una pregunta similar más adelante, en la marca de las 8:50. Desplácese hacia abajo hasta la pregunta # 8 para ver el video y la respuesta.

5. Una de las primeras cosas que debe hacer es determinar si una consulta contiene una entidad. ¿Fue algo que hiciste hace cinco años?

Eso comenzó al mismo tiempo que el Gráfico de conocimiento y los Paneles de conocimiento. Es clave para esos procesos.

No era algo que Google estuviera haciendo antes de lanzar el Gráfico de conocimiento en 2011.

6. Si alguien ha iniciado sesión en cualquier aplicación de Google, ¿se diferencia por la información que recopila? ¿Estar en Google Now frente a Google Chrome puede afectar la búsqueda?

La verdadera pregunta es si ha iniciado sesión o no.

Si ha iniciado sesión, Google incorpora la personalización de búsqueda. Google desea ofrecer una experiencia de búsqueda coherente para los usuarios, en función de sus intereses, así como de lo que se muestra en las tarjetas de Google Now.

Siempre que haya iniciado sesión y no haya desactivado la personalización de búsqueda, tendrá personalización en sus experiencias de búsqueda.

Es más probable que la búsqueda lo siga en todos sus dispositivos que los marcadores.

7. ¿Ofrece Google resultados diferentes para la misma consulta en diferentes momentos del día? Los mapas locales parecen cambiar con el horario comercial.

Ni Paul ni Gary estaban seguros, aunque ambos parecían pensar que el horario de atención no afectaría una consulta.

Google se aseguraría de mostrar las horas de cierre (y las horas de funcionamiento) si la empresa estaba cerrada, pero ninguno de los dos parecía pensar que las horas afectarían la presencia o no de un mapa en los resultados de búsqueda.

El simple hecho de que una empresa esté cerrada (o cerca de cerrar) no significa que el buscador no esté interesado en su ubicación física.

8. ¿Cómo determina Google los cambios positivos o negativos en los experimentos con evaluadores humanos? ¿Existe un informe de ganadores / perdedores por consultas?

Google tiene un informe resumido sobre cada experimento, cómo se realizó el experimento de acuerdo con un montón de métricas diferentes (que varían según el experimento), todo lo cual incluye todas las consultas involucradas.

Hay clasificaciones de victorias y derrotas. En el ejemplo mencionado anteriormente, la consulta de fertilizantes que mostró un mapa, se clasificó como una ganancia. Los seres humanos revisan las métricas y los resultados. Sin embargo, en este caso, Paul se refirió a sí mismo como atrapando los malos resultados que se informan como una victoria.

Paul hace hincapié en decir que los evaluadores humanos son geniales en general, pero cometen errores. Específicamente, los evaluadores humanos se emocionan con ciertas características, incluso si las características no agregan valor.

9. ¿Qué está pasando con Panda y Penguin?

Paul no tiene respuesta. Él hace un punto para decir que Panda y Penguin están incluidos en el "cuadro" de puntuación y recuperación.

Danny redirige el enfoque a Gary, quien es famoso por decir repetidamente en los últimos seis meses que Penguin estaba cerca del lanzamiento. De hecho, Gary dijo que Penguin se lanzaría antes del año nuevo (enero de 2016).

Obviamente, las predicciones de Gary no se han cumplido.

Gary informa que ha renunciado a informar sobre el momento en que se lanzará Penguin. Sabe que los ingenieros están trabajando específicamente en eso, pero después de equivocarse tres veces, no está dispuesto a decir una fecha o un período de tiempo.

Paul menciona nuevamente el largo ciclo de iteración del lanzamiento de nuevas señales y algoritmos de clasificación.

10: Hablaste de un lanzamiento que tomó dos años. ¿Era ese pingüino?

El lanzamiento de dos años que Paul discutió no fue Penguin.

El lanzamiento fue un lanzamiento de mitad de ranking y mitad de función. Fue su primer intento de corregir la ortografía que tomó más de la mitad de los SERP, mostrando los resultados de una falta de ortografía, en lugar de una función "quiso decir".

La primera iteración lanzada de esa característica requirió reescrituras considerables (presumiblemente para encajar en el algoritmo).

11: Mencionas la experiencia de un autor determinado. ¿Cómo identifica y rastrea la autoridad del autor para los temas?

Paul no puede entrar en detalles aquí. Sin embargo, los evaluadores humanos en experimentos tienen la tarea de hacer esto manualmente para las páginas que ven . Google compara sus propias métricas con lo que encuentran los evaluadores humanos, validando así (o invalidando) sus propias métricas.

12: ¿Se utiliza la autoridad del autor como factor de clasificación directo o indirecto?

No hay una respuesta simple: Pablo no puede decir sí o no. Es más complicado de lo que implica la pregunta.

13: ¿Deberíamos seguir molestándonos con rel = author?

Gary dice que hay al menos un equipo que continúa considerando el uso de la etiqueta rel = author.

Gary no recomendaría crear la etiqueta para páginas nuevas, pero tampoco recomendaría extraer la etiqueta rel = author de las páginas antiguas. La etiqueta no daña nada y puede usarse para algo en el futuro.

14: ¿Cómo se evita que los evaluadores de calidad tengan un sesgo de familiaridad con la marca?

A los evaluadores humanos, antes de los experimentos, se les pide que investiguen, pero Paul reconoce que a menudo tienen un sesgo.

Paul dice que existen métricas que están destinadas a contrarrestar ese sesgo, y que esas métricas específicamente no están en la señal de calidad.

Curiosamente, Paul dice con indiferencia: "No he empezado a analizar todas las métricas que realmente miramos".

La implicación, entonces, es que hay muchas métricas más allá de la relevancia y la calidad que se analizan dentro de los experimentos.

Paul hace hincapié en decir que hay muchos sitios pequeños que obtienen una calificación de calidad, "porque los evaluadores hacen un trabajo minucioso. Parecen ser buenos para resolver esto".

15: ¿Es la tasa de clics (CTR) una señal de clasificación?

Paul confirma que CTR se usa en experimentos, así como en personalización.

Sin embargo, la métrica es difícil de usar en cualquier circunstancia.

Gary interviene para decir que incluso con grupos controlados es difícil interpretar correctamente el compromiso.

Paul está de acuerdo en que muchos experimentos que se han realizado tienen métricas en vivo engañosas. El ejemplo que cita son los fragmentos, así como la "Tasa de página siguiente" a la que se hace referencia en la pregunta # 4.

Paul también cita un experimento en vivo de larga duración que intercambió los resultados n. ° 2 y n. ° 4 en los resultados de búsqueda. Fue aleatorizado y solo para el 0,02% de los usuarios. ¿El resultado? Mucha más gente hizo clic en el resultado n. ° 1. Pablo explica esto:

"Ellos ven el # 1 - no saben si les gusta o no - miran dos, que es realmente mucho peor que el # 2, se dan por vencidos porque el resultado que debería haber estado en el # 4 y fue en realidad, en el n. ° 2 fue tan malo que hicieron clic en el n. ° 1 ".

- Paul Haahr en SMX West 2016, explicando un experimento en vivo de Google que conduce a métricas de clics no convencionales.

Otro sesgo interesante que cita Paul es que la posición n. ° 10 obtiene "muchos más clics" que las posiciones n. ° 8 y n. ° 9 juntas. ¿Por qué? Porque es el último resultado antes de la página siguiente y nadie quiere hacer clic en la página siguiente.

Aún así, el # 10 se desempeña peor que el puesto # 7.

¿El punto de todo esto? CTR es una señal extremadamente difícil de usar, a menudo el resultado de sesgos extraños y comportamiento humano impredecible .

16: ¿Qué estás leyendo ahora mismo?

Paul lee "mucho periodismo y muy pocos libros". También escucha muchos audiolibros en su viaje entre San Francisco y Mountain View.

Libros que menciona Paul:

• Garth arriesga la ciudad en llamas de Hallberg
• y It Can't Happen Here de Sinclair Lewis.

...¡y eso es una envoltura!

¿Preguntas? Comentarios ¿Pensamientos? ¡Déjalos abajo!