ما هي أخطاء 404 "الناعمة" وهل ستؤثر على ترتيبي؟

تختلف أخطاء Soft 404 عن أخطاء 404 المعتادة ويمكن أن تكون ضارة بموقعك. من المهم إصلاحها حتى يتمكن موقع الويب الخاص بك من أداء جيد من منظور تحسين محركات البحث.

من المحتمل أن تكون على دراية برمز الخطأ 404 الذي يخبرك أن صفحة الويب التي تبحث عنها لم يتم العثور عليها. لكن هل تعلم أن استخدام رسالة الخطأ هذه في سياق خاطئ يمكن أن يولد ما يُعرف باسم soft 404 ، والذي يمكن أن يؤثر على أداء تحسين محركات البحث لديك؟

يتجاهل المسوقون أحيانًا مثل هذه الجوانب التقنية لمواقع الويب ويتوقعون من مطوري الويب التعامل معها بدلاً من ذلك. قد يكون هذا ضارًا بأداء موقع الويب في نتائج البحث ، ولهذا السبب يحتاج متخصصو تحسين محركات البحث (SEO) إلى العمل بشكل وثيق مع مطوري الويب.

ستركز هذه المقالة على فئة معينة من أخطاء الزحف ، وهي فئة ، إذا تُركت دون حل ، يمكن أن تقلل بشكل كبير عدد محركات بحث الصفحات مثل زحف Google وفهرستها في نتائج البحث الخاصة بها. في هذه المقالة سوف نغطي:

• ما هو خطأ soft 404
• مشاكل أخطاء soft 404
• كيفية إصلاح أخطاء soft 404
• لماذا إصلاح أخطاء soft 404 سيساعد في أداء موقعك على الويب

ما هو خطأ Soft 404؟

تظهر رسالة خطأ 404 الحقيقية عندما يعرض خادم موقع الويب رمز استجابة HTTP 404 القياسي للإشارة إلى أنه لا يمكنه العثور على صفحة الويب ( URL ) التي طلبها المستخدم. هذا يخبر كل من المتصفحات ومحركات البحث أن الصفحة غير موجودة.

ما لا يفهمه معظم الناس هو أن محتوى الصفحة - رسالة "الصفحة غير موجودة" - غير مرتبط تمامًا باستجابة HTTP التي يعرضها الخادم. فقط لأن الصفحة تعرض رسالة 404 File Not Found ، فهذا لا يعني أن هذه الصفحة يتم تعريفها تلقائيًا كصفحة 404.

وبكلمات Google الخاصة: " هذا يشبه الزرافة التي ترتدي بطاقة اسم مكتوب عليها" كلب ". لمجرد أن بطاقة الاسم تشير إلى أنه كلب ، فهذا لا يعني أنه في الواقع كلب. وبالمثل ، لا يعني مجرد ظهور الصفحة 404 أنها تعرض رمز الحالة 404. "

يحدث خطأ soft 404 عندما تعرض صفحة غير موجودة (صفحة تم حذفها / إزالتها) رسالة "لم يتم العثور على الصفحة" لأي شخص يحاول الوصول إليها ولكنها تفشل في إرجاع رمز الحالة HTTP 404. يمكن أن تحدث أيضًا عندما تعيد الصفحة غير الموجودة توجيه المستخدمين إلى صفحة غير ملائمة ، مثل الصفحة الرئيسية ، بدلاً من إرجاع رمز الحالة HTTP 404.

الشيء المهم الذي يجب تذكره هنا هو أن محتوى صفحة الويب غير مرتبط تمامًا باستجابة HTTP التي يعرضها الخادم.

هذا التمييز مهم لمحركات البحث لأنه يحدد كيفية تعامل Google مع الصفحة. الزحف والفهرسة هي عملية تمر بها روبوتات Google قبل إدراج صفحات موقع الويب الخاص بك في صفحات نتائج محرك البحث. عندما يتم عرض رسالة خطأ 404 حقيقية ، فإن برامج الروبوت في Google لا تقضي وقتًا في الزحف إلى الصفحة أو فهرستها. عندما يتم عرض خطأ soft 404 ، لا يزال يتم الزحف إلى الصفحة وفهرستها.

مشكلة أخطاء Soft 404

إذا كان موقع الويب الخاص بك يعرض رمز حالة HTTP بخلاف 404 (أو 410) لصفحة غير موجودة ، فقد يؤثر ذلك سلبًا على أداء موقع الويب في البحث المجاني. هذا يعني أنه إذا كان موقع الويب الخاص بك يحتوي على نسبة عالية من أخطاء soft 404 ، فقد يكون ضارًا. من خلال الفشل في تقديم رمز الحالة 404 ، يخبر موقع الويب الخاص بك محركات البحث أن هناك صفحة حقيقية على عنوان URL الذي يحاولون الوصول إليه. نتيجة لذلك ، سيتم الزحف إلى عنوان URL الذي قمت بحذفه (بدون محتوى) وفهرسته ، مما يؤدي إلى إهدار ميزانية الزحف القيمة على الصفحات المكررة.

تعرف Google ميزانية الزحف على أنها "عدد عناوين URL التي يمكن لبرنامج Googlebot الزحف إليها ويريد الزحف إليها". يتم تقسيم ميزانية الزحف إلى معدل الزحف وطلب الزحف:

• معدل الزحف - مصمم لمساعدة Google على عدم الزحف إلى صفحاتك بشكل متكرر أو سريع جدًا وإلحاق الضرر بخادمك
• طلب الزحف - إلى أي مدى تريد Google الزحف إلى صفحاتك. يعتمد هذا على مدى شعبية صفحاتك ومدى تقادم المحتوى في فهرس Google

لا تريد Google إضاعة وقت لا نهاية له في الزحف إلى المحتوى الموجود على نفس موقع الويب ، لذلك من المنطقي بالنسبة لهم تخصيص "ميزانية" لعمليات الزحف على الويب قبل الانتقال إلى موقع ويب آخر.

التمسك بفكرة ميزانيات الزحف ، إذا كان موقع الويب يحتوي على نسبة عالية من أخطاء soft 404 ، فسيتم الزحف إلى هذه الصفحات. ستأخذ عملية الزحف إلى هذه الصفحات غير الموجودة دائمًا مبالغ غير ضرورية من ميزانية الزحف المخصصة للموقع. نظرًا للوقت الذي يقضيه Googlebot في الزحف إلى أخطاء soft 404 ، فقد لا يتم اكتشاف عناوين URL الفريدة الخاصة بك بسرعة أو الزحف إليها بشكل متكرر - مما يقلل من ظهور المحتوى المهم على موقعك.

في النهاية ، إذا كانت لديك نسبة عالية من أخطاء soft 404 ، فأنت لا تهدر فقط ميزانية الزحف على صفحات لا معنى لها ، ولكنك تقلل أيضًا من ظهور صفحاتك المهمة. لذلك ، لا ينبغي أن يكون مفاجئًا أنه عند حل أخطاء soft 404 ، يميل أداء موقع الويب في نتائج البحث العضوية إلى التحسن.

لشرح كيفية تقييم مدى مشكلة soft 404 ، دعنا نلقي نظرة على مثال لموقع ويب يعرض عددًا من أخطاء soft 404 في Google Search Console. في المثال أدناه ، نرى 147 خطأ soft 404 تم الإبلاغ عنها لموقع الويب المعني. قد يتسبب هذا في رنين أجراس الإنذار ، لكننا نحتاج أولاً إلى النظر في الشكل في سياقه.

للقيام بذلك ، نحتاج إلى التحقق من عدد صفحات الويب على موقع الويب التي تم إرسالها إلى Google للزحف والفهرسة. بالنسبة لهذه المهمة ، سنلقي نظرة على خريطة موقع XML لموقع الويب المعني - وهو مؤشر رئيسي على عدد الصفحات التي يحتوي عليها موقع الويب. يمكنك معرفة خرائط مواقع XML التي تم إرسالها ضمن Search Console> ملفات Sitemap

ويمكن العثور على التغطية ، التي توضح عدد صفحات الويب التي تتم فهرستها أو التي تواجه أي مشكلات ، ضمن Search Console> Coverage> Find XML sitemap في القائمة المنسدلة

يوضح المثال أعلاه أن Google تقوم بفهرسة 3.31 ألف صفحة من المحتوى من موقع الويب المعني.

بالنظر إلى البيانات أعلاه ، يمكننا أن نرى أن هذا الموقع يحتوي على حوالي 3409 صفحة ، لذا فإن 107 أخطاء soft 404 تبدأ الآن في الظهور بشكل أقل خطورة. ومع ذلك ، في أكثر من 3٪ من إجمالي صفحات الموقع ، لا تزال أخطاء soft 404 التي يبلغ عددها 107 أخطاء تهدر بعض ميزانية الزحف المخصصة لهذا الموقع. في هذه الحالة ، يقضي Google وقتًا طويلاً في الزحف إلى عناوين URL غير الموجودة ببساطة.

كيف يمكنني حل هذه المشكلات؟

تسمح لك Google بتصدير 1000 عنوان URL كحد أقصى في Google Search Console. في المثال أعلاه ، تم الإبلاغ عن أقل من 1000 خطأ ، لذا يمكن تنزيلها مباشرةً عبر Search Console. بمجرد تصدير قائمة عناوين URL ، ستحتاج إلى تقييم سبب الإبلاغ عن الصفحات على أنها soft 404. تقدم Google بعض المعلومات عن عناوين URL التي تميزها بأرقام soft 404 ، كما ترى في المثال أدناه:

في معظم الحالات ، ستجد أن موقع الويب سيقدم 200 رمز حالة (موافق) على الصفحات التي تعرض رسالة "لم يتم العثور على الصفحة". لذلك ، فإن أول شيء عليك القيام به هو تشغيل مجموعة مختارة من صفحات خطأ soft 404 من خلال مدقق رمز حالة HTTP مثل httpstatus.io ، لتقييم أكواد الحالة التي تقوم تلك الصفحات بإرجاعها .

لنفترض أن مثال المجال أدناه كان يعرض صفحة 404 للمستخدم الذي يحاول الوصول إليها ، ولكن عندما تحققنا من رمز الاستجابة باستخدام مدقق رمز حالة HTTP ، أعاد استجابة HTTP 200. هذا مثال رئيسي لخطأ soft 404 ، حيث يشير رمز استجابة HTTP إلى روبوتات محرك البحث إلى أن الصفحة موجودة ويجب الزحف إليها. ومع ذلك ، لا يوجد محتوى على الصفحة يتم إرجاعه بواسطة الخادم.

الصفحة تعرض رمز استجابة خادم HTTP 200. تم الفحص باستخدام: https://httpstatus.io/

المشكلة الأخرى التي قد تواجهها عند تشخيص السبب الجذري لأخطاء soft 404 هي عمليات إعادة التوجيه 301/302 غير المناسبة.

يجب استخدام عمليات إعادة التوجيه 301 عندما يتم حذف الصفحة نهائيًا وتريد إرسال الأشخاص إلى صفحة جديدة أكثر ملاءمة. تشبه عمليات إعادة التوجيه 302 عمليات إعادة التوجيه 301 ولكنها تُستخدم عند حذف الصفحة مؤقتًا.

يختار بعض مشرفي المواقع إعادة توجيه جميع الصفحات المحذوفة إلى الصفحة الرئيسية للموقع الإلكتروني بدلاً من إرسال خطأ 404 ، وهو ليس مناسبًا على الإطلاق ويخلط بين روبوتات محرك البحث . من المهم إبراز أن وجود 404s على موقع الويب الخاص بك ليس بالأمر السيئ. يجب إعادة توجيه الصفحات المحذوفة أو المنتجات غير الموجودة في المخزون إلى بديل مباشر فقط. إذا لم يكن هناك بديل مباشر ، فيجب عليك تقديم صفحة خطأ 404 مخصصة لعرض خيارات أو منتجات بديلة للمستخدم.

لقد أبرزت مثالاً على عمليات إعادة التوجيه غير الملائمة التي تؤدي إلى ظهور أخطاء soft 404 أدناه. في هذه الحالة ، يستخدم مشرف الموقع 302 عملية إعادة توجيه لإعادة توجيه أي شخص يحاول الوصول إلى صفحة تم حذفها ، وإعادة توجيه هؤلاء المستخدمين إلى صفحة 404 مخصصة - صفحة لا تقدم بالفعل رمز حالة HTTP 404. سيؤثر هذا بشكل كبير على كيفية قيام محركات البحث بالزحف إلى موقع الويب المعني ، حيث يتم توجيه محركات البحث للبحث في مكان آخر عن الصفحات التي تم حذفها بالفعل. إذا اتبع روبوت محرك البحث هذه التعليمات ، فسيتم تقديم رمز حالة HTTP 200 (موافق) لصفحة تعرض رسالة خطأ 404 ، وهو مستوى آخر تمامًا من الممارسات السيئة.

مثال على إعادة التوجيه 302 المستخدمة لإرسال المستخدمين إلى صفحة خطأ 404 مخصصة

يجب ألا تستخدم عمليات إعادة التوجيه مطلقًا لعرض صفحة خطأ 404. بدلاً من ذلك ، قم بتقديم رمز استجابة HTTP 404 عندما يتم طلب أي صفحات تزيلها أو تحذفها من موقع الويب الخاص بك ولا يوجد بديل مباشر. سيمنع هذا موقع الويب الخاص بك من التسبب في عدد كبير من أخطاء soft 404 وسيضمن أن محركات البحث تقوم فقط بالزحف إلى الصفحات التي تريد تصنيفها وفهرستها.

الصفحة تعرض رمز استجابة خادم HTTP 404. تم الفحص باستخدام: http://httpstatus.io/

هل سيؤدي حل أخطاء Soft 404 إلى زيادة حركة المرور إلى موقع الويب الخاص بي؟

أوضحت نتائج مشروع تحسين محركات البحث التقني الذي عملنا عليه من قبل لأحد عملاء التجارة الإلكترونية سبب وجوب ملاحظة أخطاء soft 404 دائمًا. لقد لاحظنا أن العميل المعني لديه نسبة عالية جدًا من أخطاء soft 404 مقارنة بإجمالي عدد الصفحات على موقعه. اكتشفنا أن هذا يرجع إلى أن موقع الويب الخاص بهم كان يعرض 404 رسائل دون إرجاع رموز حالة HTTP 404 للعديد من منتجاتهم المحذوفة ، والتي كان هناك الآلاف منها.

بمجرد تشخيص المشكلة ، قمنا بالاتصال بمطور الويب الخاص بالعميل للتأكد من أن الخادم الخاص به أعاد رموز حالة HTTP 404 جنبًا إلى جنب مع رسائل "لم يتم العثور على الصفحة" لأي منتجات تمت إزالتها من موقعه على الويب. نفذ المطور الإصلاح كما اقترحنا ، وبعد يومين ، لاحظنا زيادة عدد الزيارات الواردة من نتائج البحث المجانية بشكل كبير. ارتفع من متوسط ​​1400 جلسة في اليوم إلى 2600 جلسة في اليوم في المتوسط.

القصة لا تنتهي عند الناس. اتضح أن هذا العميل كان يستخدم نظامًا أساسيًا مخصصًا لموقع الويب يستخدمه العديد من تجار التجزئة الآخرين عبر الإنترنت - مما يعني أن مواقع الويب الأخرى التي أنشأها المطور كانت تعمل على نفس النظام الأساسي. لذلك ، عندما بدأ المطور في تقديم رموز حالة HTTP 404 لأي صفحات محذوفة على نظامه الأساسي ، بدأت الشركات الأخرى التي تستخدم هذا النظام الأساسي في الإبلاغ عن زيادة حادة في حركة المرور العضوية. لا يسعني إلا أن أفترض أن مطوري الويب أخذوا كل الفضل في ذلك ، على الرغم من المعركة التي استمرت لمدة شهر أقنعناهم فيها بأن أخطاء soft 404 تستحق الحل في المقام الأول!

404s الناعمة: أهمية تحسين محركات البحث الفنية

تحسين محركات البحث الفني هو شيء يعرفه الكثير من المسوقين بشكل غامض. في الواقع ، حتى بالنسبة لممارسي تحسين محركات البحث ، غالبًا ما تكون منطقة تميل إلى الوقوع في أيدي مطوري الويب. يمكن أن يؤدي هذا إلى ضياع فرص ضخمة من حيث تحسين رؤية البحث العضوي. الوظائف الفنية لموقع الويب هي ما أعتبره اللبنات الأساسية لتحسين محركات البحث وكما رأينا في المثال أعلاه ، فهي مهمة بشكل خاص لمواقع التجارة الإلكترونية على مستوى المؤسسة.

TL ؛ DR - طويل جدًا ؛ لم أقرأ

• عندما يتم عرض رسالة الخطأ 404 (غير موجود) على إحدى الصفحات ، يجب أن يعرض الخادم رمز الاستجابة القياسي HTTP 404.
• محتوى الصفحة (رسالة "الصفحة غير موجودة") غير مرتبط تمامًا باستجابة HTTP التي يعرضها الخادم.
• يحدث خطأ soft 404 عندما تعرض صفحة غير موجودة (صفحة تم حذفها / إزالتها) رسالة "لم يتم العثور على الصفحة" لأي شخص يحاول الوصول إليها ولكنها لا تعرض رمز حالة HTTP 404. يمكن أن يحدث هذا عندما تعيد الصفحة المحذوفة توجيه المستخدمين إلى صفحة غير ملائمة مثل الصفحة الرئيسية للموقع.
• يجب مقارنة عدد أخطاء soft 404 التي تم الإبلاغ عنها مع العدد الإجمالي للصفحات القابلة للفهرسة على موقع ما - إذا كانت هذه النسبة من 404s / الصفحات القابلة للفهرسة عالية ، فقد تؤثر سلبًا على أداء موقع الويب في البحث العضوي عن طريق إهدار ميزانية الزحف القيمة.
• يمكن أن يؤدي حل مشكلات soft 404 إلى تحسين كفاءة الزحف بشكل كبير والتأكد من أن محركات البحث تقضي الوقت فقط في الزحف إلى الصفحات التي تريدها.
• يمكن أن يؤدي إصلاح أخطاء soft 404 إلى تحسين رؤية موقع الويب في البحث العضوي.

إذا كنت بحاجة إلى مساعدة في تحسين محركات البحث ، فلا تتردد في الاتصال بنا.