O que são erros 404 'soft' e eles afetarão minhas classificações?

Os erros Soft 404 são diferentes dos erros 404 usuais e podem ser prejudiciais ao seu site. É importante corrigi-los para que seu site tenha um bom desempenho do ponto de vista de SEO.

É provável que você conheça o código de erro 404, que informa que a página da web que você está procurando não foi encontrada. Mas você sabia que usar essa mensagem de erro no contexto errado pode gerar o que é conhecido como soft 404, que pode afetar o desempenho de SEO?

Os profissionais de marketing às vezes negligenciam esses aspectos técnicos dos sites e esperam que os desenvolvedores da web cuidem deles. Isso pode ser prejudicial para o desempenho de um site nos resultados de pesquisa, e é por isso que os especialistas em SEO precisam trabalhar em estreita colaboração com os desenvolvedores da web.

Este artigo se concentrará em uma categoria específica de erro de rastreamento, que, se não for resolvida, pode reduzir enormemente a quantidade de páginas que os mecanismos de pesquisa, como o rastreamento do Google e indexam em seus resultados de pesquisa. Neste artigo, abordaremos:

• O que é um erro soft 404
• Os problemas com erros soft 404
• Como corrigir erros soft 404
• Por que corrigir erros soft 404 ajudará no desempenho do seu site

O que é um erro Soft 404?

Uma mensagem de erro 404 verdadeira ocorre quando o servidor de um site retorna um código de resposta padrão HTTP 404 para indicar que não foi possível encontrar a página da web ( URL ) solicitada pelo usuário. Isso informa aos navegadores e aos mecanismos de pesquisa que a página não existe.

O que a maioria das pessoas não entende é que o conteúdo da página - mensagem 'página não encontrada' - não tem nenhuma relação com a resposta HTTP retornada pelo servidor. Só porque uma página exibe uma mensagem 404 Arquivo não encontrado, isso não significa que essa página seja definida automaticamente como uma página 404.

Nas próprias palavras do Google: “ É como uma girafa usando um crachá que diz 'cachorro'. Só porque o crachá diz que é um cachorro, não significa que seja realmente um cachorro. Da mesma forma, só porque uma página diz 404, não significa que ela está retornando um código de status 404. ”

Um erro soft 404 ocorre quando uma página inexistente (uma página que foi excluída / removida) exibe uma mensagem 'página não encontrada' para qualquer pessoa que tenta acessá-la, mas não retorna um código de status HTTP 404. Eles também podem ocorrer quando a página inexistente redireciona os usuários para uma página irrelevante, como a página inicial, em vez de retornar um código de status HTTP 404.

O importante a lembrar aqui é que o conteúdo de uma página da web não está totalmente relacionado à resposta HTTP retornada pelo servidor.

Essa distinção é importante para o SEO porque determina como o Google trata a página. O rastreamento e a indexação são processos pelos quais os bots do Google passam antes de listar as páginas do seu site nas páginas de resultados dos mecanismos de pesquisa. Quando uma mensagem de erro 404 verdadeira é retornada, os bots do Google não perdem tempo rastreando ou indexando a página. Quando um erro soft 404 é retornado, a página ainda é rastreada e indexada.

O problema com erros Soft 404

Se o seu site retornar um código de status HTTP diferente de 404 (ou 410) para uma página inexistente, isso pode afetar negativamente o desempenho do site na pesquisa orgânica. Isso significa que, se o seu site tiver uma alta proporção de erros soft 404, isso pode ser prejudicial. Ao deixar de servir um código de status 404, seu site está informando aos mecanismos de pesquisa que há uma página real no URL que eles estão tentando acessar. Como resultado, o URL que você excluiu (sem conteúdo) será rastreado e indexado, desperdiçando assim um orçamento valioso de rastreamento em páginas redundantes.

O Google define o orçamento de rastreamento como “o número de URLs que o Googlebot pode e deseja rastrear”. O orçamento de rastreamento é dividido em Taxa de rastreamento e Demanda de rastreamento:

• Taxa de rastreamento - Projetado para ajudar o Google a não rastrear suas páginas com muita frequência ou muito rápido e prejudicar seu servidor
• Demanda de rastreamento - quanto o Google deseja rastrear suas páginas. Isso se baseia na popularidade de suas páginas e no grau de desatualização do conteúdo do índice do Google

O Google não quer perder tempo rastreando conteúdo no mesmo site, então faz sentido para eles designarem um 'orçamento' para seus rastreamentos na web antes de passar para outro site.

Mantendo a ideia de rastrear orçamentos, se um site tiver uma alta proporção de erros soft 404, essas páginas serão rastreadas. O processo de rastreamento dessas páginas inexistentes invariavelmente consumirá quantias desnecessárias do orçamento de rastreamento atribuído ao site. Devido ao tempo que o Googlebot gasta rastreando soft 404s, seus URLs exclusivos podem não ser descobertos tão rapidamente ou rastreados com tanta frequência - reduzindo assim a visibilidade do conteúdo importante em seu site.

Em última análise, se você tem uma alta porcentagem de soft 404s, não está apenas desperdiçando orçamento de rastreamento em páginas sem sentido, mas também reduzindo a visibilidade de suas páginas importantes. Portanto, não deve ser surpresa que, quando os erros soft 404 são resolvidos, o desempenho de um site nos resultados de pesquisa orgânica tende a melhorar.

Para explicar como você avalia a extensão de um problema soft 404, vamos dar uma olhada em um exemplo de um site que está exibindo uma série de erros soft 404 no Google Search Console. No exemplo abaixo, vemos 147 erros soft 404 relatados para o site em questão. Isso pode fazer com que o alarme toque, mas primeiro precisamos considerar a figura no contexto.

Para fazer isso, precisamos verificar quantas páginas da web no site foram enviadas ao Google para rastreamento e indexação. Para esta tarefa, daríamos uma olhada no mapa do site XML do site em questão - que é um indicador chave de quantas páginas um site tem. Você pode ver quais sitemaps XML foram enviados em Search Console> Sitemaps

E a cobertura, que mostra quantas páginas da web estão sendo indexadas ou têm problemas, pode ser encontrada em Search Console> Cobertura> Encontrar mapa do site XML na lista suspensa

O exemplo acima mostra que o Google está indexando 3,31 mil páginas de conteúdo do site em questão.

Olhando para os dados acima, podemos ver que este site tem cerca de 3.409 páginas, então os 107 erros soft 404 agora começam a parecer um pouco menos agourentos. Ainda assim, em mais de 3% do total de páginas do site, os 107 erros soft 404 ainda estão desperdiçando parte do orçamento de rastreamento atribuído a este site. Nesse caso, o Google está gastando muito tempo rastreando URLs que simplesmente não existem.

Como faço para resolver esses problemas?

O Google permite que você exporte no máximo 1000 URLs no Google Search Console. No exemplo acima, há menos de 1000 erros sendo relatados, portanto, eles podem ser baixados diretamente por meio do Search Console. Depois de exportar a lista de URLs, você precisará avaliar por que as páginas estão sendo relatadas como soft 404s. O Google fornece algumas informações sobre os URLs que eles destacam como soft 404s, como você pode ver no exemplo abaixo:

Na maioria dos casos, você descobrirá que um site exibirá um código de status 200 (OK) nas páginas que retornam a mensagem “página não encontrada”. Portanto, a primeira coisa que você precisa fazer é executar uma seleção das páginas de erro soft 404 por meio de um verificador de código de status HTTP, como httpstatus.io , para avaliar quais códigos de status essas páginas estão retornando.

Digamos que o domínio de exemplo a seguir exibisse uma página 404 para o usuário que tentava acessá-la, mas quando verificamos o código de resposta usando um verificador de código de status HTTP, ele retornou uma resposta HTTP 200. Este é um excelente exemplo de erro soft 404, pois o código de resposta HTTP indica aos robôs do mecanismo de pesquisa que a página existe e deve ser rastreada. No entanto, não há conteúdo na página que é retornado pelo servidor.

Página que retorna um código de resposta do servidor HTTP 200. Verificado usando: https://httpstatus.io/

O outro problema que você pode encontrar ao diagnosticar a causa raiz dos erros soft 404 são os redirecionamentos 301/302 inadequados.

Os redirecionamentos 301 devem ser usados ​​quando uma página é excluída permanentemente e você deseja enviar as pessoas para uma nova página mais apropriada. Os redirecionamentos 302 são semelhantes aos 301s, mas são usados ​​quando a página é excluída temporariamente.

Alguns webmasters optam por redirecionar todas as páginas excluídas para a página inicial do site em vez de exibir um erro 404, o que não é apropriado e confunde os robôs dos mecanismos de pesquisa . É importante destacar que ter erros 404 em seu site não é uma coisa ruim. Páginas excluídas ou produtos fora de estoque devem ser redirecionados apenas para uma substituição direta. Se uma substituição direta não existir, você deve exibir uma página de erro 404 personalizada para exibir opções ou produtos alternativos para o usuário.

Eu destaquei um exemplo de redirecionamentos inadequados que acionam erros soft 404 abaixo. Nesse caso, o webmaster está usando redirecionamentos 302 para redirecionar qualquer pessoa que tente acessar uma página que foi excluída e redirecionar esses usuários para uma página 404 personalizada - uma que, na verdade, não exibe um código de status HTTP 404. Isso terá um impacto enorme sobre como os mecanismos de pesquisa rastreiam o site em questão, pois os mecanismos de pesquisa estão sendo instruídos a procurar em outro lugar por páginas que foram realmente excluídas. Se um robô de mecanismo de pesquisa seguir essas instruções, eles eventualmente receberão um código de status HTTP 200 (OK) para uma página que exibe uma mensagem de erro 404, que é um outro nível de prática ruim.

Um exemplo de redirecionamento 302 usado para enviar usuários a uma página de erro 404 personalizada

Você nunca deve usar redirecionamentos para servir uma página de erro 404. Em vez disso, forneça um código de resposta HTTP 404 quando todas as páginas que você remover ou excluir do seu site forem solicitadas e não houver substituição direta. Isso evitará que seu site acione um grande número de erros soft 404 e garantirá que os mecanismos de pesquisa rastreiem e indexem apenas as páginas que você deseja classificar.

Página que retorna um código de resposta do servidor HTTP 404. Verificado usando: http://httpstatus.io/

A resolução de erros Soft 404 aumentará o tráfego para meu site?

Os resultados de um projeto técnico de SEO em que trabalhamos uma vez para um cliente de comércio eletrônico deixaram muito claro por que você deve sempre tomar nota dos erros soft 404. Percebemos que o cliente em questão tinha uma proporção extremamente alta de erros soft 404 em comparação com o número total de páginas em seu site. Descobrimos que isso acontecia porque seu site estava servindo mensagens 404 sem retornar códigos de status HTTP 404 para muitos de seus produtos excluídos, dos quais havia milhares.

Depois de diagnosticar o problema, entramos em contato com o desenvolvedor da web do cliente para garantir que seu servidor retornasse códigos de status HTTP 404 junto com as mensagens de 'página não encontrada' para qualquer produto removido de seu site. O desenvolvedor implementou a correção conforme sugerimos e, dois dias depois, percebemos que o tráfego orgânico aumentou drasticamente. Passou de uma média de 1.400 sessões por dia para uma média de 2.600 por dia.

A história não acaba aí pessoal. Acontece que este cliente estava usando uma plataforma de site personalizada usada por muitos outros varejistas online - o que significa que outros sites construídos pelo desenvolvedor estavam rodando na mesma plataforma. Então, quando o desenvolvedor começou a servir códigos de status HTTP 404 para qualquer página excluída em sua plataforma, outras empresas que usavam essa plataforma começaram a relatar um aumento acentuado em seu tráfego orgânico. Só posso supor que os desenvolvedores da web levaram todo o crédito por isso, apesar da batalha de um mês que tivemos para convencê-los de que valia a pena resolver os soft 404s em primeiro lugar!

Soft 404s: a importância do SEO técnico

O SEO técnico é algo com o qual muitos profissionais de marketing estão apenas vagamente familiarizados. Na verdade, mesmo para os profissionais de SEO, costuma ser uma área que tende a cair nas mãos dos desenvolvedores da web. Isso pode levar a enormes oportunidades perdidas em termos de melhoria da visibilidade da pesquisa orgânica. As funções técnicas de um site são o que considero os blocos de construção do SEO e, como vimos no exemplo acima, são especialmente importantes para sites de comércio eletrônico de nível empresarial.

TL; DR - Muito longo; Não li

• Sempre que a mensagem de erro 404 (não encontrado) é exibida em uma página, o servidor deve retornar um código de resposta padrão HTTP 404.
• O conteúdo da página (a mensagem 'página não encontrada') não está totalmente relacionado à resposta HTTP retornada pelo servidor.
• Um erro soft 404 ocorre quando uma página inexistente (uma página que foi excluída / removida) exibe uma mensagem 'página não encontrada' para quem tenta acessá-la, mas não retorna um código de status HTTP 404. Isso pode acontecer quando a página excluída redireciona os usuários para uma página irrelevante, como a página inicial do site.
• O número de soft 404s relatados precisa ser comparado com o número total de páginas indexáveis ​​em um site - se essa proporção de soft 404s / páginas indexáveis ​​for alta, ela pode impactar negativamente o desempenho de um site na pesquisa orgânica, desperdiçando um orçamento valioso de rastreamento.
• Resolver problemas de soft 404 pode melhorar drasticamente a eficiência do rastreamento e garantir que os mecanismos de pesquisa gastem apenas tempo rastreando as páginas que você deseja.
• Corrigir seus erros soft 404 pode melhorar a visibilidade de um site na pesquisa orgânica.

Se precisar de ajuda com seu SEO, não hesite em nos contatar.