Что такое «мягкие» ошибки 404 и повлияют ли они на мой рейтинг?

Мягкие ошибки 404 отличаются от обычных ошибок 404 и могут нанести вред вашему сайту. Их важно исправить, чтобы ваш сайт мог хорошо работать с точки зрения SEO.

Вы, вероятно, знакомы с кодом ошибки 404, который сообщает вам, что веб-страница, которую вы ищете, не была найдена. Но знаете ли вы, что использование этого сообщения об ошибке в неправильном контексте может привести к так называемому «мягкому» 404, что может повлиять на производительность вашего SEO?

Маркетологи иногда упускают из виду такие технические аспекты веб-сайтов и ожидают, что веб-разработчики займутся ими. Это может отрицательно сказаться на производительности веб-сайта в результатах поиска, поэтому специалистам по SEO необходимо тесно сотрудничать с веб-разработчиками.

В этой статье основное внимание будет уделено одной конкретной категории ошибок сканирования, которая, если ее не устранить, может значительно уменьшить количество страниц поисковых систем, таких как сканирование и индексирование Google в их результатах поиска. В этой статье мы рассмотрим:

• Что такое мягкая ошибка 404
• Проблемы с мягкими ошибками 404
• Как исправить программные ошибки 404
• Почему исправление программных ошибок 404 улучшит производительность вашего сайта

Что такое мягкая ошибка 404?

Истинное сообщение об ошибке 404 возникает, когда сервер веб-сайта возвращает стандартный код ответа HTTP 404, чтобы указать, что он не может найти веб-страницу ( URL ), запрошенную пользователем. Это сообщает как браузерам, так и поисковым системам, что страница не существует.

Большинство людей не понимают, что содержимое страницы - сообщение «страница не найдена» - совершенно не связано с ответом HTTP, возвращаемым сервером. Тот факт, что на странице отображается сообщение 404 File Not Found, не означает, что эта страница автоматически определяется как страница 404.

По словам самого Google: « Это похоже на жирафа с именной биркой с надписью« собака ». То, что на бирке написано, что это собака, не означает, что это на самом деле собака. Точно так же то, что на странице написано 404, не означает, что она возвращает код состояния 404. ”

Мягкая ошибка 404 возникает, когда несуществующая страница (страница, которая была удалена / удалена) отображает сообщение «страница не найдена» для всех, кто пытается получить к ней доступ, но не может вернуть код состояния HTTP 404. Они также могут возникать, когда несуществующая страница перенаправляет пользователей на нерелевантную страницу, такую ​​как домашняя страница, вместо возврата кода состояния HTTP 404.

Здесь важно помнить, что содержимое веб-страницы совершенно не связано с ответом HTTP, возвращаемым сервером.

Это различие важно для SEO, поскольку оно определяет, как Google обрабатывает страницу. Сканирование и индексирование - это процесс, через который боты Google проходят перед включением страниц вашего веб-сайта в страницы результатов поисковой системы. Когда возвращается истинное сообщение об ошибке 404, боты Google не тратят время на сканирование или индексирование страницы. Когда возвращается мягкая ошибка 404, страница все еще сканируется и индексируется.

Проблема с мягкими ошибками 404

Если ваш веб-сайт возвращает код состояния HTTP, отличный от 404 (или 410) для несуществующей страницы, это может негативно повлиять на производительность веб-сайта в обычном поиске. Это означает, что если на вашем веб-сайте много программных ошибок 404, это может быть опасно. Не обслуживая код состояния 404, ваш веб-сайт сообщает поисковым системам, что есть реальная страница по URL-адресу, к которому они пытаются получить доступ. В результате URL-адрес, который вы удалили (без содержания), будет просканирован и проиндексирован, что приведет к потере ценного бюджета сканирования на избыточные страницы.

Google определяет бюджет сканирования как «количество URL-адресов, которые робот Googlebot может и хочет просканировать». Бюджет сканирования разделен на скорость сканирования и потребность в сканировании:

• Скорость сканирования - разработан, чтобы помочь Google не сканировать ваши страницы слишком часто или слишком быстро и не повредить ваш сервер.
• Требование сканирования - насколько Google хочет сканировать ваши страницы. Это зависит от того, насколько популярны ваши страницы и насколько устаревшим является содержание в индексе Google.

Google не хочет тратить бесконечное время на сканирование контента на одном и том же веб-сайте, поэтому для них имеет смысл назначить «бюджет» на свои веб-обходы, прежде чем переходить на другой веб-сайт.

Придерживаясь идеи бюджетов сканирования, если веб-сайт имеет высокую долю программных ошибок 404, то эти страницы будут сканироваться. Процесс сканирования этих несуществующих страниц неизменно отнимает ненужные суммы бюджета сканирования, назначенного сайту. Из-за того, что робот Googlebot тратит время на сканирование программных ошибок 404, ваши уникальные URL-адреса могут не обнаруживаться так быстро или сканироваться так часто, что снижает видимость важного контента на вашем сайте.

В конечном итоге, если у вас высокий процент мягких ошибок 404, вы не только тратите краулинговый бюджет на бессмысленные страницы, но также уменьшаете видимость важных страниц. Поэтому неудивительно, что после устранения «мягких» ошибок 404 производительность веб-сайта в обычных результатах поиска имеет тенденцию улучшаться.

Чтобы объяснить, как вы оцениваете масштабы проблемы с программным кодом 404, давайте рассмотрим пример веб-сайта, который отображает ряд программных ошибок 404 в консоли поиска Google. В приведенном ниже примере мы видим, что для рассматриваемого веб-сайта сообщается о 147 программных ошибках 404. Это может вызвать тревогу, но сначала нам нужно рассмотреть цифру в контексте.

Для этого нам нужно проверить, сколько веб-страниц на веб-сайте было отправлено в Google для сканирования и индексации. Для этой задачи мы взглянем на карту сайта в формате XML для рассматриваемого веб-сайта, которая является ключевым показателем количества страниц на веб-сайте. Вы можете увидеть, какие XML-карты сайта были отправлены в Search Console> Sitemap.

А покрытие, которое показывает, сколько веб-страниц индексируется или имеет какие-либо проблемы, можно найти в Search Console> Coverage> Find XML sitemap в раскрывающемся списке.

В приведенном выше примере показано, что Google индексирует 3,31 тыс. Страниц контента с рассматриваемого веб-сайта.

Глядя на данные выше, мы видим, что на этом веб-сайте около 3409 страниц, поэтому 107 программных ошибок 404 теперь начинают казаться немного менее зловещими. Тем не менее, на более чем 3% от общего числа страниц сайта 107 программных ошибок 404 по-прежнему тратят часть бюджета сканирования, назначенного этому сайту. В этом случае Google тратит слишком много времени на сканирование URL-адресов, которых просто не существует.

Как мне решить эти проблемы?

Google позволяет экспортировать не более 1000 URL-адресов в Google Search Console. В приведенном выше примере сообщается менее 1000 ошибок, поэтому их можно загрузить непосредственно через Search Console. После того, как вы экспортировали список URL-адресов, вам необходимо оценить, почему страницы отображаются как мягкие 404-е. Google предоставляет некоторую информацию об URL-адресах, которые они выделяют как мягкие 404, как вы можете видеть в примере ниже:

В большинстве случаев вы обнаружите, что веб-сайт будет обслуживать код состояния 200 (OK) на страницах, которые возвращают сообщение «страница не найдена». Поэтому первое, что вам нужно сделать, это запустить выборку страниц с программными ошибками 404 с помощью средства проверки кода состояния HTTP, такого как httpstatus.io , чтобы оценить, какие коды состояния возвращают эти страницы.

Допустим, в приведенном ниже примере домена отображалась страница 404 пользователю, пытающемуся получить к нему доступ, но когда мы проверили код ответа с помощью средства проверки кода состояния HTTP, он вернул ответ HTTP 200. Это яркий пример мягкой ошибки 404, поскольку код ответа HTTP указывает роботам поисковых систем, что страница существует и ее следует сканировать. Однако на странице, возвращаемой сервером, нет содержимого.

Страница, возвращающая код ответа сервера HTTP 200. Проверено с помощью: https://httpstatus.io/

Другая проблема, с которой вы можете столкнуться при диагностике основной причины программных ошибок 404, - это несоответствующие перенаправления 301/302.

301 редирект следует использовать, когда страница удалена безвозвратно и вы хотите отправить людей на новую, более подходящую страницу. 302 редиректы похожи на 301, но используются при временном удалении страницы.

Некоторые веб-мастера предпочитают перенаправлять все удаленные страницы на домашнюю страницу веб-сайта вместо того, чтобы выдавать ошибку 404, что совершенно неуместно и сбивает с толку роботов поисковых систем . Важно подчеркнуть, что наличие на вашем веб-сайте 404-х - это не плохо. Удаленные страницы или товары, которых нет в наличии, следует перенаправлять только на прямую замену. Если прямой замены не существует, вы должны предоставить пользовательскую страницу с ошибкой 404, чтобы отобразить альтернативные варианты или продукты для пользователя.

Ниже я привел пример неуместных перенаправлений, вызывающих мягкие ошибки 404. В этом случае веб-мастер использует переадресацию 302 для перенаправления любого, кто пытается получить доступ к удаленной странице, и перенаправляет этих пользователей на настраиваемую страницу 404, которая фактически не обслуживает код состояния HTTP 404. Это сильно повлияет на то, как поисковые системы будут сканировать рассматриваемый веб-сайт, поскольку поисковым системам дано указание искать в другом месте страницы, которые были фактически удалены. Если робот поисковой системы следует этим инструкциям, ему в конечном итоге будет предоставлен код состояния HTTP 200 (OK) для страницы, отображающей сообщение об ошибке 404, что является совершенно другим уровнем плохой практики.

Пример перенаправления 302, используемого для отправки пользователей на настраиваемую страницу с ошибкой 404

Никогда не следует использовать перенаправления для обслуживания страницы с ошибкой 404. Вместо этого используйте код ответа HTTP 404, когда требуются любые страницы, которые вы удаляете или удаляете со своего веб-сайта, и прямой замены нет. Это предотвратит запуск вашего веб-сайта огромного количества программных ошибок 404 и гарантирует, что поисковые системы будут сканировать и индексировать только те страницы, которые вы хотите ранжировать.

Страница, возвращающая код ответа сервера HTTP 404. Проверено с помощью: http://httpstatus.io/

Повысит ли решение программных ошибок 404 трафик на мой веб-сайт?

Результаты технического SEO-проекта, над которым мы когда-то работали для клиента электронной коммерции, очень ясно показали, почему вы всегда должны обращать внимание на мягкие ошибки 404. Мы заметили, что у данного клиента была чрезвычайно высокая доля программных ошибок 404 по сравнению с общим количеством страниц на его сайте. Мы обнаружили, что это произошло потому, что их веб-сайт обслуживал 404 сообщения без возврата кодов состояния HTTP 404 для многих их удаленных продуктов, которых было тысячи.

После того, как мы диагностировали проблему, мы связались с веб-разработчиком клиента, чтобы убедиться, что их сервер возвращает коды состояния HTTP 404 вместе с сообщениями «страница не найдена» для любых продуктов, которые они удалили со своего веб-сайта. Разработчик реализовал исправление, как мы предложили, и через два дня мы заметили, что органический трафик резко увеличился. Оно выросло с 1400 сеансов в день в среднем до 2600 сеансов в день.

На этом история не заканчивается. Оказывается, этот клиент использовал пользовательскую платформу веб-сайтов, используемую многими другими интернет-магазинами, а это означает, что другие веб-сайты, созданные разработчиком, работали на той же платформе. Итак, когда разработчик начал обслуживать коды состояния HTTP 404 для любых удаленных страниц на своей платформе, другие компании, использующие эту платформу, начали сообщать о резком росте своего органического трафика. Я могу только предположить, что веб-разработчики взяли на себя всю заслугу в этом, несмотря на месячную битву, которую мы провели, убедив их, что в первую очередь стоит решать проблемы с ошибками 404!

Программные ошибки 404: важность технического SEO

Техническое SEO - это то, с чем многие маркетологи плохо знакомы. В самом деле, даже для специалистов по SEO часто эта область попадает в руки веб-разработчиков. Это может привести к огромным упущенным возможностям с точки зрения улучшения видимости органического поиска. Технические функции веб-сайта - это то, что я считаю строительными блоками SEO, и, как мы видели в приведенном выше примере, они особенно важны для веб-сайтов электронной коммерции корпоративного уровня.

TL; DR - слишком длинный; Не читал

• Каждый раз, когда на странице отображается сообщение об ошибке 404 (не найдено), сервер должен возвращать стандартный код ответа HTTP 404.
• Содержимое страницы (сообщение «страница не найдена») полностью не связано с ответом HTTP, возвращаемым сервером.
• Мягкая ошибка 404 возникает, когда несуществующая страница (страница, которая была удалена / удалена) отображает сообщение «страница не найдена» для всех, кто пытается получить к ней доступ, но не возвращает код состояния HTTP 404. Это может произойти, когда удаленная страница перенаправляет пользователей на нерелевантную страницу, такую ​​как домашняя страница веб-сайта.
• Количество зарегистрированных программных ошибок 404 необходимо сравнить с общим количеством индексируемых страниц на сайте - если это соотношение мягких 404 / индексируемых страниц велико, это может негативно повлиять на производительность веб-сайта в органическом поиске, тратя ценный краулинговый бюджет.
• Решение программных проблем 404 может значительно повысить эффективность сканирования и гарантировать, что поисковые системы будут тратить время на сканирование только тех страниц, которые им нужны.
• Исправление программных ошибок 404 может улучшить видимость веб-сайта в обычном поиске.

Если вам нужна помощь с вашим SEO, не стесняйтесь обращаться к нам.