'Soft' 404 오류란 무엇이며 내 순위에 영향을 줍니까?

Soft 404 오류는 일반적인 404 오류와 다르며 사이트에 해로울 수 있습니다. 웹 사이트가 SEO 관점에서 잘 수행될 수 있도록 수정하는 것이 중요합니다.

찾고 있는 웹 페이지를 찾을 수 없음을 알려주는 404 오류 코드에 익숙할 것입니다. 그러나 잘못된 컨텍스트에서 이 오류 메시지를 사용하면 SEO 성능에 영향을 줄 수 있는 soft 404가 생성될 수 있다는 것을 알고 계셨습니까?

마케터는 때때로 웹사이트의 이러한 기술적 측면을 간과하고 웹 개발자가 대신 처리하기를 기대합니다. 이는 검색 결과에서 웹사이트의 성능에 해로울 수 있으므로 SEO 전문가는 웹 개발자와 긴밀하게 협력해야 합니다.

이 기사에서는 크롤링 오류의 한 가지 특정 범주에 초점을 맞출 것입니다. 이 범주는 해결되지 않은 상태로 두면 Google 크롤링 및 색인과 같은 페이지 검색 엔진의 검색 결과의 양을 크게 줄일 수 있습니다. 이 기사에서 다룰 내용은 다음과 같습니다.

• 소프트 404 오류란?
• 소프트 404 오류 문제
• 소프트 404 오류를 수정하는 방법
• 소프트 404 오류를 수정하면 웹사이트 성능에 도움이 되는 이유

Soft 404 오류란 무엇입니까?

실제 404 오류 메시지는 웹 사이트의 서버가 HTTP 404 표준 응답 코드 를 반환 하여 사용자가 요청한 웹 페이지( URL )를 찾을 수 없음을 나타내는 경우에 발생합니다. 이것은 페이지가 존재하지 않는다는 것을 브라우저와 검색 엔진에 알립니다.

대부분의 사람들이 이해하지 못하는 것은 페이지의 내용('페이지를 찾을 수 없음' 메시지)이 서버에서 반환된 HTTP 응답과 전혀 관련이 없다는 것입니다. 페이지에 404 파일을 찾을 수 없다는 메시지가 표시된다고 해서 이 페이지가 자동으로 404 페이지로 정의되는 것은 아닙니다.

Google의 자체 표현: " 이것은 '개'라고 적힌 이름표를 쓴 기린과 같습니다. 이름표에 개라고 적혀 있다고 해서 실제로 개인 것은 아닙니다. 마찬가지로 페이지에 404라고 표시되어 있다고 해서 404 상태 코드를 반환한다는 의미는 아닙니다. "

소프트 404 오류는 존재하지 않는 페이지(삭제/제거된 페이지)에 액세스를 시도하는 모든 사람에게 '페이지를 찾을 수 없음' 메시지를 표시하지만 HTTP 404 상태 코드를 반환하지 못하는 경우 발생합니다. 존재하지 않는 페이지가 HTTP 404 상태 코드를 반환하는 대신 홈페이지와 같은 관련 없는 페이지로 사용자를 리디렉션할 때도 발생할 수 있습니다.

여기서 기억해야 할 중요한 점 은 웹 페이지의 내용이 서버에서 반환된 HTTP 응답과 전혀 관련이 없다는 것입니다.

이 구분은 Google이 페이지를 처리하는 방식을 결정하기 때문에 SEO에 중요합니다. 크롤링 및 색인 생성은 검색 엔진 결과 페이지에 웹사이트 페이지를 나열하기 전에 Google 봇이 거치는 프로세스입니다. 실제 404 오류 메시지가 반환되면 Google 봇은 페이지를 크롤링하거나 색인을 생성하는 데 시간을 소비하지 않습니다. 소프트 404 오류가 반환되면 페이지가 여전히 크롤링되고 인덱싱됩니다.

Soft 404 오류 문제

웹사이트가 존재하지 않는 페이지에 대해 404(또는 410) 이외의 HTTP 상태 코드를 반환하는 경우 자연 검색에서 웹사이트의 성능에 부정적인 영향을 미칠 수 있습니다. 즉, 웹 사이트에 soft 404 오류 비율이 높으면 해로울 수 있습니다. 404 상태 코드를 제공하는 데 실패함으로써 웹사이트는 검색 엔진에 액세스하려는 URL에 실제 페이지가 있음을 알립니다. 결과적으로 콘텐츠 없이 삭제한 URL이 크롤링되고 색인이 생성되어 중복 페이지에서 귀중한 크롤링 예산을 낭비하게 됩니다.

Google은 크롤링 예산 을 "Googlebot이 크롤링할 수 있고 크롤링하려는 URL의 수"로 정의합니다. 크롤링 예산은 크롤링 비율 과 크롤링 수요 로 나뉩니다 .

• 크롤링 속도 - Google이 페이지를 너무 자주 또는 너무 빨리 크롤링하여 서버에 손상을 입히지 않도록 하기 위해 설계되었습니다.
• 크롤링 수요 - Google에서 페이지를 크롤링하려는 양입니다. 이는 페이지의 인기도와 Google 색인의 콘텐츠가 얼마나 오래된지를 기반으로 합니다.

Google은 동일한 웹사이트에서 콘텐츠를 크롤링하는 데 끝없는 시간을 낭비하고 싶지 않으므로 다른 웹사이트로 이동하기 전에 웹 크롤링에 '예산'을 할당하는 것이 좋습니다.

크롤링 예산이라는 개념을 고수하면 웹 사이트에 soft 404 오류 비율이 높으면 해당 페이지가 크롤링됩니다. 이러한 존재하지 않는 페이지를 크롤링하는 프로세스는 항상 사이트에 할당된 크롤링 예산의 불필요한 양을 차지합니다. Googlebot이 소프트 404를 크롤링하는 데 소비하는 시간으로 인해 고유 URL이 빠르게 검색되지 않거나 자주 크롤링되지 않을 수 있으므로 사이트의 중요한 콘텐츠 가시성이 저하됩니다.

궁극적으로 soft 404의 비율이 높으면 의미 없는 페이지에 크롤링 예산을 낭비할 뿐만 아니라 중요한 페이지의 가시성을 떨어뜨리게 됩니다. 따라서 soft 404 오류가 해결되면 자연 검색 결과에서 웹사이트의 성능이 향상되는 경향이 있다는 것은 놀라운 일이 아닙니다.

soft 404 문제의 범위를 평가하는 방법을 설명하기 위해 Google Search Console에서 여러 soft 404 오류를 표시하는 웹사이트의 예를 살펴보겠습니다. 아래 예에서 문제의 웹사이트에 대해 147개의 soft 404 오류가 보고되는 것을 볼 수 있습니다. 이로 인해 알람 벨이 울리게 될 수 있지만 먼저 컨텍스트에서 그림을 고려해야 합니다.

이렇게 하려면 웹사이트에서 크롤링 및 색인 생성을 위해 Google에 제출된 웹페이지 수를 확인해야 합니다. 이 작업을 위해 해당 웹 사이트의 XML 사이트맵을 살펴보겠습니다. 이는 웹 사이트의 페이지 수를 나타내는 핵심 지표입니다. Search Console > 사이트맵 에서 제출된 XML 사이트맵을 확인할 수 있습니다.

색인이 생성되고 있거나 문제가 있는 웹페이지 수를 보여주는 범위 는 검색 콘솔 > 범위 > 드롭다운의 XML 사이트맵 찾기 에서 찾을 수 있습니다.

위의 예는 Google이 문제의 웹사이트에서 3.31K 페이지의 콘텐츠를 색인화하고 있음을 보여줍니다.

위의 데이터를 보면 이 웹사이트의 페이지 수는 약 3,409개이므로 107개의 soft 404 오류가 이제 조금 덜 불길해 보이기 시작합니다. 그러나 사이트 총 페이지의 3% 이상에서 107 soft 404 오류가 이 웹사이트에 할당된 크롤링 예산의 일부를 여전히 낭비하고 있습니다. 이 경우 Google은 단순히 존재하지 않는 URL을 크롤링하는 데 너무 많은 시간을 소비합니다.

이러한 문제를 어떻게 해결합니까?

Google에서는 Google Search Console에서 최대 1000개의 URL만 내보낼 수 있습니다. 위의 예에서 보고된 오류는 1000개 미만이므로 Search Console을 통해 직접 다운로드할 수 있습니다. URL 목록을 내보낸 후에는 페이지가 소프트 404로 보고되는 이유를 평가해야 합니다. Google은 아래 예에서 볼 수 있듯이 소프트 404로 강조 표시된 URL에 대한 몇 가지 정보를 제공합니다.

대부분의 경우 웹사이트는 "페이지를 찾을 수 없음" 메시지를 반환하는 페이지에 200(OK) 상태 코드 를 제공합니다. 따라서 가장 먼저 해야 할 일은 httpstatus.io 와 같은 HTTP 상태 코드 검사기를 통해 소프트 404 오류 페이지를 선택하여 해당 페이지가 반환하는 상태 코드를 평가하는 것입니다.

아래 예제 도메인이 액세스를 시도하는 사용자에게 404 페이지를 표시했지만 HTTP 상태 코드 검사기를 사용하여 응답 코드를 확인했을 때 HTTP 200 응답을 반환했다고 가정해 보겠습니다. 이것은 HTTP 응답 코드가 페이지가 존재하고 크롤링되어야 함을 검색 엔진 로봇에 나타내기 때문에 소프트 404 오류의 대표적인 예입니다. 그러나 서버에서 반환한 페이지에는 콘텐츠가 없습니다.

HTTP 200 서버 응답 코드를 반환하는 페이지. 확인: https://httpstatus.io/

소프트 404 오류의 근본 원인을 진단할 때 발생할 수 있는 다른 문제는 부적절한 301/302 리디렉션입니다.

301 리디렉션은 페이지가 영구적으로 삭제되고 사람들을 더 적절한 새 페이지로 보내려는 경우에 사용해야 합니다. 302 리디렉션은 301과 유사하지만 페이지가 일시적으로 삭제될 때 사용됩니다.

일부 웹마스터는 404 오류를 표시하는 대신 삭제된 모든 페이지를 웹사이트의 홈페이지로 리디렉션하도록 선택합니다. 이는 전혀 적절하지 않고 검색 엔진 로봇을 혼란스럽게 합니다. 웹사이트에 404가 있는 것이 나쁜 것은 아니라는 점을 강조하는 것이 중요합니다. 삭제된 페이지 또는 품절된 제품은 직접 교체로만 리디렉션되어야 합니다. 직접 교체가 존재하지 않는 경우 사용자 에게 대체 옵션이나 제품을 표시 하기 위해 사용자 지정 404 오류 페이지 를 제공해야 합니다 .

아래에서 소프트 404 오류를 유발 하는 부적절한 리디렉션 의 예를 강조했습니다 . 이 경우 웹마스터는 302 리디렉션 을 사용하여 삭제된 페이지에 액세스하려는 사람을 리디렉션하고 해당 사용자를 사용자 지정 404 페이지(실제로 HTTP 404 상태 코드를 제공하지 않는 페이지)로 리디렉션합니다. 이는 검색 엔진이 실제로 삭제된 페이지를 다른 곳에서 찾도록 지시받기 때문에 검색 엔진이 문제의 웹사이트를 크롤링하는 방법에 큰 영향을 미칩니다. 검색 엔진 로봇이 이러한 지침을 따르면 결국 404 오류 메시지를 표시하는 페이지에 대해 HTTP 200(OK) 상태 코드가 제공됩니다. 이는 완전히 다른 수준의 나쁜 습관입니다.

사용자를 사용자 지정 404 오류 페이지로 보내는 데 사용되는 302 리디렉션의 예

리디렉션을 사용하여 404 오류 페이지를 제공하면 안 됩니다. 대신 웹사이트에서 제거하거나 삭제한 페이지가 요청 되고 직접적인 교체가 없을 때 HTTP 404 응답 코드를 제공하십시오 . 이렇게 하면 웹사이트에서 수많은 소프트 404 오류가 발생하는 것을 방지하고 검색 엔진이 순위를 매길 페이지만 크롤링하고 색인을 생성할 수 있습니다.

HTTP 404 서버 응답 코드를 반환하는 페이지. 다음을 사용하여 확인: http://httpstatus.io/

Soft 404 오류를 해결하면 내 웹사이트에 대한 트래픽이 증가합니까?

우리가 전자 상거래 고객을 위해 한 번 작업한 기술 SEO 프로젝트의 결과는 왜 항상 소프트 404 오류를 기록해야 하는지를 매우 명확하게 보여주었습니다. 문제의 클라이언트는 사이트의 총 페이지 수에 비해 매우 높은 비율의 소프트 404 오류를 발견했습니다. 우리는 그들의 웹사이트가 수천 개의 삭제된 제품에 대해 HTTP 404 상태 코드를 반환하지 않고 404개의 메시지를 제공하고 있었기 때문이라는 것을 발견했습니다.

문제를 진단한 후 클라이언트의 웹 개발자와 연락하여 웹사이트에서 제거한 제품에 대한 '페이지를 찾을 수 없음' 메시지와 함께 서버가 HTTP 404 상태 코드를 반환했는지 확인했습니다. 개발자는 우리가 제안한 대로 수정 사항을 구현했으며 이틀 후 유기적 트래픽이 크게 증가한 것을 확인했습니다. 하루 평균 1,400회의 세션에서 하루 평균 2,600회의 세션으로 증가했습니다.

이야기는 거기서 끝나지 않습니다. 이 클라이언트는 다른 많은 온라인 소매업체에서 사용하는 맞춤형 웹사이트 플랫폼을 사용하고 있는 것으로 나타났습니다. 즉, 개발자가 구축한 다른 웹사이트가 동일한 플랫폼에서 실행되고 있었습니다. 따라서 개발자가 플랫폼에서 삭제된 페이지에 대해 HTTP 404 상태 코드를 제공하기 시작했을 때 해당 플랫폼을 사용하는 다른 비즈니스에서 유기적 트래픽이 급격히 증가했다고 보고하기 시작했습니다. 웹 개발자가 이 모든 공로를 인정받았다고 가정할 수 밖에 없습니다. 우리는 소프트 404가 애초에 해결할 가치가 있다는 것을 설득한 한 달 간의 싸움에도 불구하고 말이죠!

Soft 404s: 기술 SEO의 중요성

기술적인 SEO는 많은 마케터들이 막연하게만 알고 있는 것입니다. 실제로 SEO 전문가의 경우에도 종종 웹 개발자의 손에 넘어가는 경향이 있는 영역입니다. 이는 유기적 검색 가시성을 향상시키는 측면에서 엄청난 기회를 놓칠 수 있습니다. 웹사이트의 기술적 기능은 SEO의 구성 요소로 간주되며 위의 예에서 보았듯이 엔터프라이즈 수준의 전자 상거래 웹 사이트에서 특히 중요합니다.

TL;DR – 너무 깁니다. 읽지 않음

• 404(찾을 수 없음) 오류 메시지가 페이지에 표시될 때마다 서버는 HTTP 404 표준 응답 코드를 반환해야 합니다.
• 페이지의 내용('페이지를 찾을 수 없음' 메시지)은 서버에서 반환된 HTTP 응답과 전혀 관련이 없습니다.
• 소프트 404 오류는 존재하지 않는 페이지(삭제/제거된 페이지)가 액세스를 시도하지만 HTTP 404 상태 코드를 반환하지 않는 '페이지를 찾을 수 없음' 메시지를 표시할 때 발생합니다. 삭제된 페이지가 웹사이트의 홈페이지와 같이 관련 없는 페이지로 사용자를 리디렉션할 때 발생할 수 있습니다.
• 보고된 소프트 404의 수는 사이트의 총 인덱싱 가능한 페이지 수와 비교해야 합니다. 이 소프트 404/인덱싱 가능한 페이지의 비율이 높으면 귀중한 크롤링 예산을 낭비하여 자연 검색에서 웹사이트의 성능에 부정적인 영향을 미칠 수 있습니다.
• 소프트 404 문제를 해결하면 크롤링 효율성이 크게 향상되고 검색 엔진이 원하는 페이지를 크롤링하는 데 시간을 할애할 수 있습니다.
• 소프트 404 오류를 수정하면 자연 검색에서 웹사이트의 가시성을 높일 수 있습니다.

SEO와 관련하여 도움이 필요하시면 주저하지 마시고 저희에게 연락해 주십시오.