تحليل ملف السجل: 9 طرق قابلة للتنفيذ يمكن استخدامها لتحسين محركات البحث

في هذه القطعة ، سنغطي ماهية ملفات السجل ، ولماذا هي مهمة ، وما الذي يجب البحث عنه والأدوات التي يجب استخدامها. أخيرًا ، سأقدم 9 طرق قابلة للتنفيذ يمكنك من خلالها تحليلها من أجل تحسين محركات البحث.

ما هو ملف سجل الخادم؟

سجل الخادم هو ملف سجل (أو عدة ملفات) يتم إنشاؤه وصيانته تلقائيًا بواسطة خادم يتكون من قائمة بالأنشطة التي قام بها.

لأغراض تحسين محركات البحث (SEO) ، نحن مهتمون بسجل خادم الويب الذي يحتوي على سجل لطلبات الصفحة لموقع ويب ، من كل من البشر والروبوتات. يُشار إلى هذا أحيانًا باسم سجل الوصول ، وتبدو البيانات الأولية كما يلي:

نعم ، تبدو البيانات مربكة ومربكة بعض الشيء في البداية ، لذلك دعونا نقسمها وننظر إلى "النتيجة" عن كثب.

ضرب مثال

يختلف كل خادم بطبيعته في تسجيل الدخول ، ولكنه عادةً ما يقدم معلومات مماثلة يتم تنظيمها في الحقول.

يوجد أدناه عينة نتيجة لخادم ويب Apache (هذا مبسط - تم حذف بعض الحقول):

50.56.92.47 - - [01 / مارس / 2018: 12: 21: 17 +0100] "GET" - "/wp-content/themes/esp/help.php" - "404" "-" "Mozilla / 5.0 ( متوافق ؛ Googlebot / 2.1 ؛ + http: //www.google.com/bot.html) ”- www.example.com -

كما ترى ، بالنسبة لكل نتيجة يتم تزويدنا بمعلومات أساسية مثل التاريخ والوقت ، ورمز الاستجابة لمعرف URI المطلوب (في هذه الحالة ، 404) ووكيل المستخدم الذي جاء منه الطلب (في هذه الحالة ، Googlebot ). كما يمكنك أن تتخيل ، تتكون ملفات السجل من آلاف الزيارات كل يوم ، حيث أنه في كل مرة يصل فيها مستخدم أو روبوت إلى موقعك ، يتم تسجيل العديد من الزيارات لكل صفحة مطلوبة - بما في ذلك الصور و CSS وأي ملفات أخرى مطلوبة لعرض صفحة.

لماذا هم مهمون؟

إذن أنت تعرف ما هو ملف السجل ، ولكن لماذا يستحق وقتك في تحليله؟

حسنًا ، الحقيقة هي أنه لا يوجد سوى سجل حقيقي واحد لكيفية معالجة محركات البحث ، مثل Googlebot ، لموقع الويب الخاص بك. وذلك من خلال النظر في ملفات سجل الخادم لموقع الويب الخاص بك.

لن تعطينا Search Console وبرامج الزحف التابعة لجهات خارجية ومشغلي البحث الصورة الكاملة لكيفية تفاعل Googlebot ومحركات البحث الأخرى مع موقع ويب. فقط ملفات سجل الوصول يمكن أن تعطينا هذه المعلومات.

كيف يمكننا استخدام تحليل ملف السجل لكبار المسئولين الاقتصاديين؟

يمنحنا تحليل ملف السجل قدرًا كبيرًا من الأفكار المفيدة ، بما في ذلك تمكيننا من:

• تحقق بالضبط مما يمكن أو لا يمكن الزحف إليه.
• اعرض الاستجابات التي صادفتها محركات البحث أثناء الزحف ، مثل 302s و 404s و soft 404s.
• حدد أوجه القصور في الزحف ، والتي قد يكون لها آثار أوسع تستند إلى الموقع (مثل التدرج الهرمي أو بنية الروابط الداخلية).
• تعرف على الصفحات التي تعطي الأولوية لمحركات البحث ، وقد تعتبرها الأكثر أهمية.
• اكتشف مناطق نفايات ميزانية الزحف.

سأطلعك على بعض المهام التي يمكنك القيام بها أثناء تحليل ملف السجل الخاص بك وأظهر لك كيف يمكنهم تزويدك برؤى قابلة للتنفيذ لموقعك على الويب.

كيف يمكنني الحصول على ملفات السجل؟

بالنسبة لهذا النوع من التحليل ، فأنت تطلب سجلات الوصول الأولية من جميع خوادم الويب لنطاقك ، بدون أي تصفية أو تعديلات مطبقة. من الناحية المثالية ، ستحتاج إلى قدر كبير من البيانات لجعل التحليل جديرًا بالاهتمام. كم عدد الأيام / الأسابيع التي تستحق ذلك ، يعتمد على حجم وسلطة موقعك ومقدار حركة المرور التي يولدها. بالنسبة لبعض المواقع ، قد يكون الأسبوع كافيًا ، وبالنسبة لبعض المواقع قد تحتاج إلى شهر أو أكثر من البيانات.

يجب أن يكون مطور الويب الخاص بك قادرًا على إرسال هذه الملفات إليك. يجدر سؤالهم قبل أن يرسلوا إليك ما إذا كانت السجلات تحتوي على طلبات من أكثر من مجال وبروتوكول واحد وما إذا كانت مدرجة في هذه السجلات. لأنه إذا لم يكن الأمر كذلك ، فسوف يمنعك هذا من تحديد الطلبات بشكل صحيح. لن تتمكن من التمييز بين طلب http://www.example.com/ و https://example.com/. في هذه الحالات ، يجب أن تطلب من المطور تحديث تكوين السجل لتضمين هذه المعلومات في المستقبل.

ما هي الأدوات التي أحتاج إلى استخدامها؟

إذا كنت خبيرًا في برنامج Excel ، فإن هذا الدليل مفيد حقًا في مساعدتك على تنسيق ملفات السجل وتحليلها باستخدام Excel. أنا شخصياً أستخدم محلل ملفات سجل الضفدع الصراخ (تكلفته 99 دولارًا في السنة). تجعل واجهته سهلة الاستخدام من السهل والسريع اكتشاف أي مشكلات (على الرغم من أنه يمكن القول أنك لن تحصل تمامًا على نفس المستوى من العمق أو الحرية الذي ستحصل عليه باستخدام Excel). تم الانتهاء من جميع الأمثلة التي سأأخذك إليها باستخدام محلل ملفات سجل الضفدع الصراخ.

بعض الأدوات الأخرى هي Splunk و GamutLogViewer.

9 طرق لتحليل ملفات السجل لكبار المسئولين الاقتصاديين

1. ابحث عن مكان إهدار ميزانية الزحف

أولاً ، ما هي ميزانية الزحف؟ تعرفه Google على أنها:

"من خلال أخذ معدل الزحف وطلب الزحف معًا ، نحدد ميزانية الزحف على أنها عدد عناوين URL التي يمكن لبرنامج Googlebot الزحف إليها ويريد الزحف إليها."

بشكل أساسي - هو عدد الصفحات التي يزحف إليها محرك البحث في كل مرة يزور فيها موقعك ويرتبط بسلطة المجال ويتناسب مع تدفق ملكية الرابط من خلال موقع ويب.

بشكل حاسم فيما يتعلق بتحليل ملف السجل ، يمكن أحيانًا إهدار ميزانية الزحف على صفحات غير ذات صلة. إذا كان لديك محتوى جديد تريد فهرسته ولكن لا توجد ميزانية متبقية ، فلن تقوم Google بفهرسة هذا المحتوى الجديد. لهذا السبب تريد مراقبة المكان الذي تنفق فيه ميزانية الزحف الخاصة بك من خلال تحليل ملف السجل.

العوامل التي تؤثر على ميزانية الزحف

يمكن أن يؤثر وجود العديد من عناوين URL ذات القيمة المضافة المنخفضة بشكل سلبي على الزحف إلى الموقع وفهرسته. يمكن أن تندرج عناوين URL منخفضة القيمة المضافة ضمن الفئات التالية:

• التنقل متعدد الأوجه وإنشاء عناوين URL الديناميكية ومعرفات الجلسة (شائعة لمواقع التجارة الإلكترونية)
• محتوى مكرر في الموقع
• الصفحات المخترقة
• صفحات الأخطاء اللينة
• جودة منخفضة ومحتوى غير مرغوب فيه

سيؤدي إهدار موارد الخادم على مثل هذه الصفحات إلى استنزاف نشاط الزحف من الصفحات التي لها قيمة فعلية ، مما قد يتسبب في تأخير كبير في اكتشاف المحتوى الجيد على الموقع.

على سبيل المثال ، عند النظر إلى ملفات السجل هذه ، اكتشفنا أن سمة WordPress غير صحيحة تتم زيارتها بشكل متكرر ، وهذا حل واضح!

عند النظر في عدد الأحداث التي تحصل عليها كل صفحة ، اسأل نفسك عما إذا كان يجب على Google أن تزعج نفسك بالزحف إلى عناوين URL هذه - ستجد غالبًا الإجابة بالنفي. لذلك ، فإن تحسين ميزانية الزحف الخاصة بك سيساعد محركات البحث في الزحف إلى أهم الصفحات الموجودة على موقع الويب الخاص بك وفهرستها. يمكنك القيام بذلك بعدة طرق ، مثل استبعاد عناوين URL من الزحف إليها عن طريق حظر عناوين URL التي تحتوي على أنماط معينة باستخدام ملف robots.txt . تحقق من منشوراتنا المفيدة حول هذا الموضوع.

2. هل يتم الزحف إلى صفحاتك المهمة على الإطلاق؟

لقد غطينا سبب أهمية عدم إضاعة Google لميزانية الزحف على صفحاتك منخفضة القيمة. الجانب الآخر من العملة هو التحقق من أن صفحاتك عالية القيمة تتم زيارتها مع الأهمية التي تضعها عليها. إذا طلبت ملفات السجل الخاصة بك حسب عدد الأحداث والتصفية بواسطة HTML ، يمكنك معرفة الصفحات الأكثر زيارة.

سيكون من المبالغة إلى حد ما القول أنه يجب الزحف إلى عناوين URL الأكثر أهمية - ومع ذلك ، إذا كنت موقعًا رئيسيًا ، فأنت تريد أن تظهر صفحتك الرئيسية وصفحات الخدمة الرئيسية ومحتوى المدونة هناك.

كموقع للتجارة الإلكترونية ، قد ترغب في ظهور صفحتك الرئيسية وصفحات الفئات وصفحات المنتج الرئيسية هناك. إذا كنت ترى صفحة منتج قديمة لم تعد تبيعها ولم تعد من أهم صفحات الفئات في هذه النتائج ، فلديك مشكلة.

3. اكتشف ما إذا كان موقعك قد تحول إلى فهرس Google للجوال أولاً

يمكنك تسجيل تحليل الملف لمعرفة ما إذا كان موقع الويب الخاص بك يحصل على زحف متزايد بواسطة Googlebot Smartphone ، مما يشير إلى أنه تم تحويله إلى فهرس الهاتف المحمول الأول . اعتبارًا من 1 يوليو 2019 ، تم تمكين فهرسة الجوال أولاً بشكل افتراضي لجميع مواقع الويب الجديدة (جديدة على الويب أو غير معروفة سابقًا لبحث Google). صرح Google بأنفسهم:

"بالنسبة إلى مواقع الويب القديمة أو الحالية ، نواصل مراقبة الصفحات وتقييمها بناءً على أفضل الممارسات المفصلة في هذا الدليل. نبلغ مالكي المواقع في Search Console بالتاريخ الذي تم فيه تحويل مواقعهم إلى فهرسة الجوال أولاً ". أفضل ممارسات فهرسة Google للجوال أولاً

عادةً ما يحتوي الموقع الذي لا يزال في الفهرس العادي على حوالي 80٪ من زحف Google بواسطة زاحف سطح المكتب و 20٪ بواسطة موقع الجوال. من المرجح أنك قد تحولت إلى الهاتف المحمول أولاً ، وإذا كان لديك ، فستعكس هذه الأرقام 80/20.

يمكنك العثور على هذه المعلومات من خلال النظر إلى علامة التبويب "وكلاء المستخدم" في "محلل سجل الضفدع الصراخ" - من المفترض أن ترى معظم الأحداث القادمة من Mozilla / 5.0 (Linux ؛ Android 6.0.1 ؛ Nexus 5X Build / MMB29P) مثل Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (متوافق ؛ Googlebot / 2.1 ؛ + http: //www.google.com/bot.html:

إذا تم التبديل ، فيجب أن تكون قد تلقيت أيضًا إشعارًا في Google Search Console يفيد بأن موقع الويب الخاص بك قد تم تمكين فهرسة الجوال أولاً. بدلاً من ذلك ، يمكنك رؤية هذا في تقرير التغطية أيضًا.

4. هل تصل جميع روبوتات محرك البحث المستهدفة إلى صفحاتك؟

التمسك بالروبوتات ، يعد هذا فحصًا سهلًا للقيام به. نحن نعلم أن Google هو محرك البحث المهيمن ، وبالتالي فإن ضمان قيام Googlebot Smartphone و Googlebot بزيارة موقع الويب الخاص بك بانتظام يجب أن يكون من أولوياتك.

يمكننا تصفية بيانات ملف السجل عن طريق روبوت محرك البحث.

بمجرد التصفية ، يمكنك الاطلاع على عدد الأحداث التي يسجلها كل من روبوتات محرك البحث التي تريدها. نأمل أن ترى Googlebot Smartphone أو Googlebot يزور موقعك أكثر من غيرها.

أوصي أيضًا بالتحقق من مقدار زيارة كل روبوت غير مرغوب فيه لموقعك على الويب. على سبيل المثال ، إذا كنت شركة بريطانية ولا ترغب في بيع سلع أو خدمات إلى روسيا أو الصين ، فيمكنك معرفة مقدار زيارة روبوتات Yandex و Baidu لموقعك. إذا كانوا يزورون مبلغًا غير عادي (لقد رأيت في بعض الحالات أنهم يزورون أكثر من Googlebot Smartphone) ، يمكنك المضي قدمًا وحظر برامج الزحف في ملف robots.txt الخاص بك.

5. اكتشاف رموز الحالة غير الصحيحة

بينما نحصل على عدد كبير من البيانات في تقرير تغطية وحدة تحكم بحث Google حول 404s ، 200s صالحة ، تعطينا ملفات السجل نظرة عامة فعلية على رموز الحالة لكل صفحة. يمكن فقط لملفات السجل أو إرسال الجلب والعرض من Google Search Console يدويًا أن تسمح لك بتحليل رمز الاستجابة الأخير الذي سيختبره محرك البحث.

باستخدام محلل ملفات سجلات Screaming Frog ، يمكنك القيام بذلك بسرعة ، ولأنها مرتبة حسب تردد الزحف ، يمكنك أيضًا معرفة عناوين URL الأكثر أهمية التي يجب إصلاحها.

للاطلاع على هذه البيانات ، يمكنك تصفية هذه المعلومات ضمن علامة تبويب رموز الاستجابة

ابحث عن الصفحات بحالات 3xx و 4xx و 5xx HTTP

• هل تتم زيارتها بشكل متكرر؟
• هل الصفحات التي تحتوي على 3xx و 4xx و 5xx أكثر من صفحاتك المهمة؟
• هل هناك أنماط لرموز الاستجابة؟

مع مشروع واحد ، في أعلى 15 صفحة بها أكبر عدد من النتائج ، كانت هناك عمليات إعادة توجيه ، وإعادة توجيه 302 (مؤقتة) غير صحيحة ، وصفحات لا تحتوي على محتوى وبعضها 404s و soft 404s .

من خلال تحليل ملف السجل الخاص بك ، بمجرد تحديد المشكلة ، يمكنك البدء في إصلاحها عن طريق تحديث عمليات إعادة التوجيه غير الصحيحة وأخطاء soft 404.

6. قم بتمييز رموز الاستجابة غير المتسقة

في حين أنه من المهم تحليل رمز الاستجابة الأخير الذي سيختبره محرك البحث ، فإن إبراز رموز الاستجابة غير المتسقة يمكن أن يمنحك رؤية رائعة أيضًا.

إذا نظرت بحتة إلى رموز الاستجابة الأخيرة ولم تر أي أخطاء غير عادية أو أي ارتفاعات في 4xxs و 5xxs ، فقد تنتهي من الفحوصات الفنية الخاصة بك هناك. ومع ذلك ، يمكنك استخدام عامل تصفية في محلل ملف السجل لعرض الردود "غير المتسقة" بالتفصيل فقط.

هناك العديد من الأسباب التي تجعل عناوين URL الخاصة بك تواجه رموز استجابة غير متسقة. على سبيل المثال:

• 5xx مختلطة مع 2xx - يمكن أن يشير هذا إلى مشكلة في الخادم عندما يكونون تحت عبء شديد.
• مختلط 4xx مع 2xx - يمكن أن يشير هذا إلى روابط معطلة ظهرت أو تم إصلاحها

بمجرد حصولك على هذه المعلومات من تحليل ملف السجل الخاص بك ، يمكنك إنشاء خطة العمل الخاصة بك لإصلاح هذه الأخطاء.

7. تدقيق الصفحات الكبيرة أو البطيئة

نحن نعلم أن الوقت المتبقي حتى البايت الأول (TTFB) ، والوقت المتبقي للبايت الأخير (TTLB) ، والوقت المستغرق لتحميل الصفحة بالكامل ، كلها عوامل تؤثر في كيفية الزحف إلى موقعك. يعتبر TTFB ، على وجه الخصوص ، عاملاً أساسيًا في الزحف إلى موقعك بسرعة وفعالية. نظرًا لأن سرعة الصفحة أيضًا عامل ترتيب يمكننا أن نرى مدى أهمية موقع الويب السريع لأدائك.

باستخدام ملفات السجل ، يمكننا أن نرى بسرعة أكبر الصفحات على موقع الويب الخاص بك وأبطأها.

لعرض أكبر صفحاتك ، قم بفرز عمود "متوسط ​​البايت".

هنا يمكننا أن نرى ملفات PDF تشكل أكبر الصفحات على الموقع. يعد تحسينها وتقليل حجمها مكانًا رائعًا للبدء. إذا كنت ترى صفحات معينة تظهر هنا ، فقد ترغب في إلقاء نظرة عليها بشكل فردي.

• هل هم مغطاة بصور عالية الدقة؟
• هل لديهم مقاطع فيديو يتم تشغيلها تلقائيًا؟
• هل لديهم خطوط مخصصة غير ضرورية؟
• هل تم تمكين ضغط النص؟

في حين أن حجم الصفحة هو مؤشر جيد لصفحة بطيئة ، فهي ليست كل شيء. يمكن أن يكون لديك صفحة كبيرة ولكن لا يزال من الممكن تحميلها بسرعة. قم بفرز عمود "متوسط ​​وقت الاستجابة" ويمكنك رؤية عناوين URL ذات أبطأ وقت استجابة.

كما هو الحال مع جميع البيانات التي تراها هنا ، يمكنك التصفية حسب HTML و JavaScript و Image و CSS والمزيد ، وهو أمر مفيد حقًا لمراجعتك.

ربما يكون هدفك هو تقليل اعتماد موقع الويب الخاص بك على JavaScript وتريد تحديد أكبر الجناة. أو تعلم أنه يمكن تبسيط CSS وتحتاج إلى البيانات لعمل نسخة احتياطية منها. قد يتم تحميل موقعك بوتيرة بطيئة والتصفية حسب الصور توضح لك أن خدمة تنسيقات الجيل التالي يجب أن تكون أولوية.

8. تحقق من الروابط الداخلية وأهمية عمق الزحف

ميزة أخرى رائعة لمحلل ملفات السجل هذا هي القدرة على استيراد زحف إلى موقع الويب. من السهل حقًا القيام بذلك ويمنحك قدرًا أكبر من المرونة فيما يمكنك تحليله من ملفات السجل الخاصة بك. ما عليك سوى سحب وإفلات الزحف في "بيانات URL المستوردة" الموضحة أدناه.

بمجرد القيام بذلك ، يمكنك إجراء مزيد من التحليل.

تأكد من تحديد "مطابقة مع بيانات عنوان URL" في القائمة المنسدلة واسحب الأعمدة ذات الصلة إلى العرض. هنا يمكننا إجراء تحليل مجمّع حول تأثير عمق الزحف والروابط الداخلية على وتيرة الزحف إلى موقع الويب الخاص بك.

على سبيل المثال ، إذا كانت لديك صفحات "مهمة" لا يتم الزحف إليها بشكل متكرر ولاحظت أنها تحتوي على عدد قليل جدًا من الارتباطات الداخلية وكان عمق الزحف أعلى من 3 ، فهذا على الأرجح سبب عدم الزحف إلى صفحتك كثيرًا. على العكس من ذلك ، إذا كانت لديك صفحة يتم الزحف إليها كثيرًا ولم تكن متأكدًا من السبب ، فابحث عن مكانها في موقعك. أين يرتبط؟ كم يبعد عن الجذر؟ يمكن أن يشير تحليل ذلك إلى ما يحبه Google في بنية موقعك. في النهاية ، يمكن أن تساعدك هذه التقنية في تحديد أي مشكلات تتعلق بالتسلسل الهرمي وبنية الموقع.

9. اكتشف الصفحات المعزولة

أخيرًا ، مع بيانات الزحف التي تم استيرادها ، يكون اكتشاف الصفحات المعزولة أمرًا سهلاً. يمكن تعريف الصفحات اليتيمة على أنها الصفحات التي تعرف عنها محركات البحث ، وتقوم بالزحف إليها ولكنها غير مرتبطة داخليًا على موقع الويب الخاص بك.

سيؤدي تحديد القائمة المنسدلة "ليس في بيانات عنوان URL" إلى إظهار عناوين URL الموجودة في السجلات ولكنها ليست موجودة في بيانات الزحف . لذلك ، ستكون عناوين URL التي تظهر هنا هي الصفحات التي لا تزال روبوتات محرك البحث تعتقد أنها ذات قيمة ، ولكنها لم تعد تظهر على موقع الويب. يمكن أن تظهر عناوين URL المعزولة لأسباب عديدة منها:

• تغييرات هيكل الموقع
• تحديثات المحتوى
• عناوين URL المعاد توجيهها القديمة
• ربط داخلي غير صحيح
• ارتباط خارجي غير صحيح

في النهاية ، تحتاج إلى مراجعة عناوين URL الخاصة بالأيتام التي تجدها واتخاذ قرار بشأن ما يجب فعله معهم.

افكار اخيرة

هذه هي مقدمتي المختصرة لتحليل ملف السجل و 9 مهام قابلة للتنفيذ يمكنك البدء بها على الفور باستخدام محلل ملفات سجل الضفدع الصراخ. هناك الكثير الذي يمكنك القيام به ، سواء في Excel أو باستخدام الأدوات الأخرى المذكورة أعلاه (بالإضافة إلى أدوات أخرى). أكثر مما يمكنني تغطيته هنا! فيما يلي بعض الموارد التي وجدتها مفيدة:

7 أسئلة أساسية لتحسين محركات البحث الفنية يجب الإجابة عليها باستخدام تحليل ملف السجل

الدليل النهائي لتحليل ملف السجل

قيمة تحليل ملف السجل

وهناك الكثير من الأشياء التي يجب قراءتها والتي يجب أن ترضي أكثر عشاق تحسين محركات البحث التقنيين فضولًا!

كيف تقوم بتحليل ملف السجل؟ ما هي الأدوات التي تجدها تعمل بشكل أفضل؟ يود فريق تحسين محركات البحث لدينا معرفة ذلك. التعليق أدناه.

إذا كنت بحاجة إلى مساعدة في تحسين محركات البحث ، فلا تتردد في الاتصال بنا.