Как работает Google: история рейтингового инженера Google - обзор и анализ SMX West 2016

Привет друзья. Время от времени здесь, в Linkarati, мы освещаем новости, тенденции или презентации, которые, по нашему мнению, заслуживают того, чтобы делиться ими и расширять.

Сегодня я наткнулась на интересный твит от Рэй Хоффман:

Если вы видели этот https://t.co/JN9T1IOBjc и не тратили время на просмотр и выполнение этого, удачи в вашей карьере SEO pic.twitter.com/YliYKcSFdq

- Рэй Хоффман (@sugarrae) 31 марта 2016 г.

Ссылка ведет к видео SMX Пола Хаара, инженера-программиста в Google в течение 14 лет, который представляет на SMX West 2016 презентацию о том, как работает Google, с точки зрения инженера по рейтингу Google.

Как говорит Дэнни Салливан, который представляет Пола, титул Пола не отражает того, что он является частью высшего руководства группы рейтинга Google .

Как оптимизатор, это должно заставить ваше сердце биться быстрее.

Дэнни повторяет, как нам (сообществу SEO) повезло с присутствием Пола. И, как вы можете видеть из ее твита, Рэй твердо убеждена, что каждый оптимизатор поисковых систем должен внимательно следить за этим, а также делать заметки. Кто я такой, чтобы спорить?

Я часто обнаруживал, что написание освещения презентации учит меня даже большему, чем ведение заметок, поскольку я должен сделать еще один шаг и писать заметки, которые другие могут понять и оценить. Это добавляет еще один уровень критического мышления.

Я решил сделать именно это, чтобы самому лучше понять материал и помочь вам быстрее переварить презентацию. Беспроигрышный вариант, правда? Примечание: у Рэй есть свои заметки и заметки здесь.

Я рекомендую вам следить за видео, которое будет встраиваться повсюду. Ниже я также встроил презентацию Пола из Slideshare, из которой я буду вырезать и размещать неподвижные изображения, чтобы сопровождать свою репортаж.

Устройтесь поудобнее, наслаждайтесь и дайте мне знать, что вы думаете.

Давайте вникнем в это.

Примечание: Эмануэле Ваккари перевел этот пост на итальянский язык вместе с некоторыми своими мыслями. Вы можете увидеть его переведенный пост здесь.

Чем занимается рейтинговый инженер Google

Я на самом деле собираюсь сразу же нарушить одно из моих собственных правил освещения и проигнорировать хронологический порядок (но только сейчас - я пройду презентацию в хронологическом порядке, после этого раздела).

Во всей презентации Пола была заложена тема, которая, на мой взгляд, послужила основой его презентации. Эта тема: «Чем занимаются рейтинговые инженеры?» .

По словам Пола, было четыре версии этого ответа, каждая из которых немного уточняла роль рейтингового инженера:

1. Напишите код для этих серверов [поиск Google]. Источник: Слайд 16
2. Ищите новые сигналы. Комбинируйте старые сигналы по-новому. Источник: Слайд 19
3. Оптимизируйте наши показатели [релевантность / намерение и качество поисковика]. Источник: Слайд 24
4. Поднимите результаты с хорошими оценками [от живых экспериментов и людей-оценщиков] вверх. Сдвинуть результаты с плохой оценкой вниз. Источник: Слайд 55

Обратите внимание, что квадратные скобки [] означают мои собственные междометия, чтобы прояснить (не полностью) слайды Пола.

Так что же делает рейтинговый инженер Google? Главный вывод, который я получил: убедитесь, что поиск действительно улучшается для пользователей (людей). И как они это делают? Сделав так, чтобы Google лучше соответствовал рекомендациям по оценке качества поиска .

В более позднем твите Пола Рей снова подчеркивается важность рекомендаций по оценке качества поиска и то, что оптимизаторам поисковой оптимизации действительно следует прочитать весь документ:

. @ sugarrae Рад, что вам понравилось. Что касается прозрачности, я думаю, что рекомендации для рейтинговых агентств действительно имели большое значение. Читали их еще? Https://t.co/llmUQJbkQ8

- Пол Хаар (@haahr) 31 марта 2016 г.

Моя самая любимая цитата из презентации Пола произошла, когда он говорил о рекомендациях Google по оценке качества поиска на отметке 16:08. Сама цитата взята с отметки 16:48 на слайде 32 презентации. Павел сказал:

«Если вам интересно, почему Google что-то делает, часто ответ состоит в том, чтобы сделать этот [поиск] более похожим на то, что сказано в рекомендациях для рейтинговых агентств».

Пол Хаар, инженер по рейтингам Google, SMX West 2016

Это мощное заявление. Пол резюмирует все изменения в Google как попытку лучше соответствовать рекомендациям по оценке качества поиска, которые они опубликовали! Короче говоря: вы хотите понять Google? Прочтите их рекомендации по качеству.

Хорошо, давайте перейдем к хронологическому описанию презентации Пола.

Поиск в Google сегодня

По словам Пола, сегодня в поиске Google есть две темы:

1. Сначала мобильные
2. Функции

Мобильные устройства лидируют по поисковым запросам, и Google все больше думает, что мобильные устройства в первую очередь. Это не новая информация для специалистов по поисковой оптимизации, но Пол особо подчеркнул это.

Второй момент, который подчеркнул Пол, - важность функций, особенно для мобильных устройств.

Слайд четвертый

Интересно, что Пол сказал, подводя итоги сегодняшнего поиска:

«Мы все больше и больше погружаемся в мир, где поиск рассматривается как помощник во всех сферах вашей жизни».

Пол Хаар, инженер по рейтингам Google, SMX West 2016

Как работает поиск Google

У всего гугла раньше было 10 синих ссылок. Пол сломал проблему ранжирования в эпоху 10 синих ссылок следующим образом: «Какие документы мы показываем? В каком порядке мы показываем их?»

Слайд седьмой

Интересно в сторону: Пол воспользовался моментом, чтобы пояснить, что никогда не будет касаться темы рекламы. В частности, Павел сказал:

«Реклама великолепна, она приносит нам много денег, она очень хорошо работает для рекламодателей. Но моя работа, как нам прямо сказали,« не думайте о влиянии на рекламу, не думайте о влиянии на доход ». просто подумайте о помощи пользователю ".

Пол Хаар, инженер по рейтингам Google, SMX West 2016

Интересно услышать о четком разделении церкви и государства - извините, платное и органическое.

Жизнь запроса

Объяснение ранжирования Полом начинается с жизни запроса, чтобы объяснить, как работает поиск. Поисковая система состоит из двух частей:

1. Опережая время (до запроса)
2. Обработка запросов.

Перед запросом:

• Сканировать Интернет
• Анализируйте страницы сканирования
  • Извлечь ссылки (классический вариант поиска)
  • Рендеринг содержимого (Javascript, CSS - Пол подчеркнул важность этого.)
  • Аннотировать семантику
• Создайте индекс
  • Ссылка на индекс книги
  • Для каждого слова отображается список страниц, на которых оно отображается.
  • Разбитый на миллионы страниц
    • Эти страницы называются «осколками».
    • Тысячи шардов для веб-индекса
  • Плюс метаданные для каждого документа.

Источник: слайды 10 и 11.

Обработка запросов (когда кто-то использует поиск):

• Понимание и расширение запроса
  • Называет ли запрос известные сущности?
  • Есть ли полезные синонимы?
  • Контекст имеет значение
• поиск и оценка
  • Отправить запрос всем шардам
  • Каждый осколок:
    • Находит совпадающие страницы
    • Вычисляет оценку для запроса + страницы
    • Отправляет назад первые N страниц по количеству очков
  • Объедините все верхние страницы
  • Сортировать по баллам
• Пост-поисковая корректировка
  • Кластеризация хостов (сколько страниц из одного домена), дополнительные ссылки
  • Слишком много дублирования?
  • Понижение рейтинга спама, применение ручных мер

Источник: слайды 12, 13, 14 и 15.

Сигналы оценки Google

Павел ссылается на одно число, которое представляет соответствие между запросом и страницей.

Это основано на оценочных сигналах, которые основаны на двух категориях:

1. Оценка сигналов на основе страницы
2. Оценка сигналов на основе запроса.

Слайд восемнадцать

Здесь Пол процитировал вторую версию ранжирования должностей инженера: искать новые сигналы или комбинировать старые сигналы по-новому . Пол назвал это «трудным и интересным».

Ключевые показатели в рейтинге: актуальность, качество, время до достижения результата

Пол подчеркнул релевантность как ключевой показатель результатов поиска. Релевантность в основном объяснялась как «соответствие намерениям пользователя».

Пол называет релевантность «нашим основным показателем» и «большим внутренним показателем».

Также есть два других: качество и время до результата (быстрее - лучше). В этой презентации основное внимание уделялось актуальности и качеству.

Взаимное ранговое взвешивание

CTR (рейтинг кликов) часто обсуждается в SEO, особенно при поисковом рейтинге. Какая ценность в том, чтобы быть лучшим по результатам органического поиска по сравнению с вторым номером? Вместо того, чтобы быть номером четыре? Это часто обсуждается и обсуждается. Пол объяснил точку зрения Google с точки зрения ценности.

Он определил эту идею как «взаимно ранжированное взвешивание»:

Слайд двадцать третий

Чтобы было ясно, Пол не обсуждал CTR. Скорее, это внутренний показатель, оценивающий целые страницы поиска.

Идея представляет собой снижение ценности каждой позиции на 50%, при этом номер один стоит в десять раз больше, чем номер десять.

Довольно увлекательно.

И это привело Пола к третьей версии того, что делают специалисты по рейтингу Google: оптимизируют по нашим показателям [релевантности и качества].

Слайд двадцать четыре

Как Google оценивает результаты поиска?

Пол объясняет, что Google может анализировать эффективность конкретных результатов двумя способами:

1. Живые эксперименты
2. Человеческие оценщики.

Видео ниже:

Живые эксперименты

Google проводит живые A / B-тесты на реальном трафике, а затем ищет изменения в шаблонах кликов.

«Мы проводим множество экспериментов. Очень редко, если вы выполняете поиск в Google и не участвуете хотя бы в одном эксперименте».

Пол Хаар, инженер по рейтингам Google, SMX West 2016

Пол на мгновение объясняет, что интерпретация живых экспериментов - сложная задача.

Его основной пример (ниже) - результат с полем для ответа. Традиционно, если поисковик переходил на сайт, это считалось хорошим результатом. Но что, если искатель увидел ответ, остался доволен и закрылся? Традиционно это оценивается как плохой результат, но в данном случае это может быть действительно хороший результат.

Слайд тридцать

Смысл примера Пола - показать, насколько сложно анализировать удовлетворенность поисковиков.

Эксперименты с людьми-оценщиками в Google

Самый важный вывод из этой части состоит в том, что здесь снова делается упор на мобильные устройства, поскольку большинство экспериментов с людьми проводится на смартфонах .

Эксперименты с людьми-оценщиками работают следующим образом:

1. Показывать результаты экспериментального поиска реальных людей
2. Спросите, насколько хороши результаты (скользящая ставка как по релевантности, так и по качеству)
3. Сводные рейтинги оценщиков

Опять же, чрезвычайно важно отметить, что Google опубликовал свои рекомендации по оценке качества поиска.

Серьезно, посмотрите этот клип.

Примеры оценки оценщика качества поиска

Пол начинает просматривать примеры и скриншоты экспериментов по оценке качества поиска с отметки 16:56.

Рекомендую посмотреть видео для этой части, так как многое из того, что Пол сильно зависит от слайдов. Эта часть презентации начинается со слайда 33.

Две шкалы для оценки результатов: релевантность и качество

Google предоставляет оценщикам две шкалы для оценки качества результатов:

1. Удовлетворены потребности (актуальность)
2. Качество страницы

Слайд тридцать пять

Эксперименты, ориентированные на мобильные устройства

Пол также делает упор на мобильные устройства.

Они достигают этого пятью способами:

1. Все инструкции по релевантности касаются потребностей мобильных пользователей.
2. Мобильные анкеты используются в экспериментах в два раза чаще.
3. Местоположение пользователя включено в эксперименты.
4. Инструмент отображает мобильный пользовательский опыт.
5. Оценщики посещают веб-сайты со своих смартфонов.

Не могу не подчеркнуть, насколько это важно. Google явно делает упор на мобильные устройства; здесь нет золотой середины.

Рейтинг удовлетворения потребностей - Рейтинг релевантности

Существует пять различных категорий релевантности, которые определяются как «удовлетворенные потребности»:

1. Полностью соответствует
2. Высоко встречает
3. Умеренно соответствует
4. Слегка соответствует
5. Не удается встретиться.

Важно отметить, что оценщики не оценивают только пять вариантов: им предоставляется скользящая шкала, которая может располагаться где угодно между любыми из этих оценок.

Начиная со слайда 41, Павел рассматривает примеры каждой оценки:

Вот сопроводительное видео:

Важные выводы:

1. «Полностью соответствует» может существовать только тогда, когда запрос однозначен и есть результат, который может полностью удовлетворить все, что пользователь намеревается сделать с запросом.
2. Для того, чтобы удовлетворить намерения пользователя, иногда требуется два конкретных, отдельных результата.
3. «Умеренно соответствует» - это вообще хорошая информация.
4. "Слегка соответствует" - приемлемая, но не очень полезная информация, и мы надеемся, что результаты будут лучше для отображения.
5. «Не удается найти ответ» - это смехотворно, поскольку Пол ссылается на поисковые ошибки, которые возвращают плохие результаты.

Рейтинг качества страницы

Google рассматривает три важных понятия для описания качества страницы:

1. Экспертиза
2. Авторитетность
3. Надежность.

Шкала качества от высокого к низкому.

Страницы высокого качества:

• Удовлетворительное количество высококачественного основного контента.
• Опыт, авторитет и доверие очевидны.
• Сайт имеет хорошую репутацию.

Слайд пятьдесят

Страницы низкого качества:

• Качество контента низкое
• Не так много основного контента
• Не показаны опыт или авторитет
• У сайта отрицательная репутация
• Вторичный контент (реклама) отвлекает.

Слайд пятьдесят один

Оптимизация показателей качества поиска

Несколько сотен ученых-информатиков работают в разряде инженеров. Они сосредотачиваются на показателях и сигналах, проводят постоянные эксперименты, вносят множество изменений - все для улучшения результатов поиска Google (и более точного отражения рекомендаций для оценщика качества поиска.

Процесс разработки довольно стандартен для процесса разработки программного обеспечения.

Слайд пятьдесят четыре

Важные моменты:

1. Процесс тестирования кода может занять от нескольких недель до месяца.
2. Количественные аналитики (в основном статистики) просматривают данные. Они сохраняют честность рейтинговых инженеров, предоставляя в основном беспристрастный анализ изменений.
3. Группа проверки запуска рассматривает резюме проекта, рассматривает документацию и отчеты, а также обсуждает достоинства изменения рейтинга.
4. Фактическое продвижение обновления в реальном времени может быть быстрым или медленным, в зависимости от того, насколько готов код для алгоритма.

Инженеры по составлению рейтингов создают эти обновления в первую очередь для того, чтобы поднять результаты с хорошими оценками вверх, а с плохими - вниз.

Что идет не так в процессе разработки

Павел говорит о двух видах проблем:

1. Систематически плохие оценки.
2. Метрики, которые не отражают концепции, которые их волнуют.

Систематически плохие оценки

Пол приводит пример [удобрения для техасской фермы]. Оказывается, это марка удобрений, но Google возвращал производителя. Маловероятно, что люди действительно хотят получить карту от производителя, а скорее захотят увидеть реальный продукт. Тем не менее, люди-оценщики постоянно оценивают это как результат «полностью соответствует потребностям» .

Это фактически привело к схеме добавления дополнительных карт, что на самом деле привело к получению высоко оцененных результатов, но на самом деле плохому опыту поиска в реальном времени.

Отсутствующие показатели

Пол ссылается на проблему, с которой Google сталкивался с качеством в 2008–2011 годах. В частности, проблема с контентными фермами .

Контент-фермы могут производить низкокачественный, очень релевантный контент. Это привело к получению высоко оцененных результатов, которые на самом деле были низкого качества. Контент-фермы - это то, что привело к тому, что Google применил второй слайдер в своих экспериментах с человеческим рейтингом, оценивая качество результатов.

Совершенно увлекательно слышать, как Пол обсуждает проблему с контентными фермами и их влияние на качество поиска, а также то, как внедрение другой метрики для оценки эффективности результатов поиска решило эту проблему.

Также интересно, что здесь нет упоминания о Panda, о том, как Google алгоритмически поступал с фермами контента.

По словам Пола, решение проблемы отсутствующих показателей состоит в том, чтобы исправить рекомендации рейтеров или разработать новые показатели (при необходимости).

Слайд шестьдесят седьмой

И это вся презентация Пола!

Заключительные мысли и выводы

Несколько заключительных мыслей в заключение этого длинного поста.

1. Я собираюсь прочитать Руководство по оценке качества поиска раньше, чем позже. Вы тоже должны. Пол подчеркнул, что все изменения, внесенные в рейтинг поиска, должны отражать этот документ. Хотите понять рейтинг Google? (как оптимизатор, ответ должен быть твердым «ДА!») Затем прочтите этот документ.
2. Google действительно ориентирован на мобильные устройства. Во всех экспериментах с участием людей-оценщиков упор делается на первый взгляд на мобильные устройства до удивительной степени.
3. Почти каждый поиск включает живой эксперимент.
4. Релевантность - это показатель номер один в Google. Они определяют «релевантность» как удовлетворение потребностей пользователя (человека) в поиске. Если вы хотите повысить рейтинг, подумайте о том, чтобы удовлетворить ожидания и потребности пользователей.
5. Google значительно больше ценит первый результат. Каждый последующий результат ухудшается на 50% от значения предыдущего результата. Результат №1 считается в десять раз более ценным, чем результат №10.

Я уверен, что есть и другие важные выводы, но официально мой мозг уже не в восторге. Отзывы приветствуются - надеюсь, вам понравилось это сообщение.