Analisis File Log: 9 Cara yang Dapat Ditindaklanjuti untuk SEO

Dalam bagian ini, kita akan membahas apa itu file log, mengapa itu penting, apa yang harus diwaspadai, dan alat apa yang digunakan. Terakhir, saya akan memberikan 9 cara yang dapat ditindaklanjuti agar Anda dapat menganalisisnya untuk SEO.

Apa itu file log server?

Log server adalah file log (atau beberapa file) yang dibuat dan dipelihara secara otomatis oleh server yang terdiri dari daftar aktivitas yang dilakukan.

Untuk tujuan SEO, kami memperhatikan log server web yang berisi riwayat permintaan halaman untuk situs web, baik dari manusia maupun robot. Ini juga terkadang disebut sebagai log akses, dan data mentahnya terlihat seperti ini:

Ya, datanya terlihat sedikit berlebihan dan membingungkan pada awalnya, jadi mari kita uraikan dan lihat "hit" lebih dekat.

Contoh Hit

Setiap server secara inheren berbeda dalam logging hit, tetapi mereka biasanya memberikan informasi serupa yang diatur ke dalam bidang.

Di bawah ini adalah contoh hit ke server web Apache (ini disederhanakan – beberapa bidang telah dihapus):

50.56.92.47 – – [01/Maret/2018:12:21:17 +0100] “GET” – “/wp-content/themes/esp/help.php” – “404” “-” “Mozilla/5.0 ( kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)” – www.example.com –

Seperti yang Anda lihat, untuk setiap klik, kami diberikan informasi penting seperti tanggal dan waktu, kode respons dari URI yang diminta (dalam hal ini, 404) dan agen pengguna asal permintaan (dalam hal ini Googlebot ). Seperti yang dapat Anda bayangkan, file log terdiri dari ribuan klik setiap hari, karena setiap kali pengguna atau bot tiba di situs Anda, banyak klik dicatat untuk setiap halaman yang diminta – termasuk gambar, CSS, dan file lain yang diperlukan untuk merender halaman.

Mengapa Mereka Signifikan?

Jadi, Anda tahu apa itu file log, tetapi mengapa perlu waktu Anda untuk menganalisisnya?

Faktanya adalah hanya ada satu catatan yang benar tentang bagaimana mesin pencari, seperti Googlebot, memproses situs web Anda. Dan itu dengan melihat file log server Anda untuk situs web Anda.

Search Console, perayap pihak ketiga, dan operator telusur tidak akan memberi kami gambaran lengkap tentang bagaimana Googlebot dan mesin telusur lainnya berinteraksi dengan situs web. HANYA file log akses yang dapat memberi kami informasi ini.

Bagaimana Kami Dapat Menggunakan Analisis File Log untuk SEO?

Analisis file log memberi kami banyak wawasan berguna, termasuk memungkinkan kami untuk:

• Validasi dengan tepat apa yang bisa, atau tidak bisa dirayapi.
• Lihat tanggapan yang ditemukan oleh mesin telusur selama perayapannya, misalnya 302, 404, 404 lunak.
• Identifikasi kekurangan perayapan, yang mungkin memiliki implikasi berbasis situs yang lebih luas (seperti hierarki, atau struktur tautan internal).
• Lihat halaman mana yang diprioritaskan oleh mesin pencari, dan mungkin dianggap yang paling penting.
• Temukan area pemborosan anggaran perayapan.

Saya akan membawa Anda melalui beberapa tugas yang dapat Anda lakukan selama analisis file log Anda dan menunjukkan kepada Anda bagaimana mereka dapat memberi Anda wawasan yang dapat ditindaklanjuti untuk situs web Anda.

Bagaimana Saya Mendapatkan File Log?

Untuk jenis analisis ini, Anda memerlukan log akses mentah dari semua server web untuk domain Anda, tanpa pemfilteran atau modifikasi yang diterapkan. Idealnya, Anda memerlukan data dalam jumlah besar agar analisisnya bermanfaat. Berapa hari/minggu nilainya, tergantung pada ukuran dan otoritas situs Anda dan jumlah lalu lintas yang dihasilkannya. Untuk beberapa situs, seminggu mungkin cukup, untuk beberapa situs Anda mungkin memerlukan satu bulan atau lebih data.

Pengembang web Anda seharusnya dapat mengirimkan file-file ini untuk Anda. Sebaiknya tanyakan kepada mereka sebelum mengirimkan kepada Anda apakah log berisi permintaan dari lebih dari satu domain dan protokol dan apakah log tersebut disertakan dalam log ini. Karena jika tidak, ini akan mencegah Anda mengidentifikasi permintaan dengan benar. Anda tidak akan dapat membedakan antara permintaan untuk http://www.example.com/ dan https://example.com/. Dalam kasus ini, Anda harus meminta pengembang Anda untuk memperbarui konfigurasi log untuk menyertakan informasi ini di masa mendatang.

Alat Apa yang Perlu Saya Gunakan?

Jika Anda seorang ahli Excel, maka panduan ini sangat berguna untuk membantu Anda memformat dan menganalisis file log Anda menggunakan Excel. Secara pribadi, saya menggunakan Screaming Frog Log File Analyzer (biaya $99 per tahun). Antarmukanya yang ramah pengguna membuatnya cepat dan mudah untuk menemukan masalah apa pun (walaupun bisa dibilang Anda tidak akan mendapatkan tingkat kedalaman atau kebebasan yang sama seperti yang Anda dapatkan dengan menggunakan Excel). Contoh saya akan membawa Anda melalui semua dilakukan dengan menggunakan Screaming Frog Log File Analyser.

Beberapa alat lainnya adalah Splunk dan GamutLogViewer.

9 Cara Menganalisis File Log untuk SEO

1. Temukan Di Mana Anggaran Perayapan Dibuang

Pertama, apa itu anggaran perayapan? Google mendefinisikannya sebagai:

“Dengan menggabungkan tingkat perayapan dan permintaan perayapan, kami mendefinisikan anggaran perayapan sebagai jumlah URL yang dapat dan ingin dirayapi Googlebot.”

Pada dasarnya – ini adalah jumlah halaman yang akan dirayapi mesin pencari setiap kali mengunjungi situs Anda dan ditautkan ke otoritas domain dan sebanding dengan aliran ekuitas tautan melalui situs web.

Sangat penting dalam kaitannya dengan analisis file log, anggaran perayapan terkadang dapat terbuang sia-sia pada halaman yang tidak relevan. Jika Anda memiliki konten baru yang ingin diindeks tetapi tidak ada anggaran tersisa, maka Google tidak akan mengindeks konten baru ini. Itulah mengapa Anda ingin memantau di mana Anda menghabiskan anggaran perayapan Anda dengan analisis file log.

Faktor-Faktor yang Mempengaruhi Anggaran Perayapan

Memiliki banyak URL bernilai tambah rendah dapat memengaruhi perayapan dan pengindeksan situs secara negatif. URL bernilai tambah rendah dapat termasuk dalam kategori berikut:

• Navigasi segi, pembuatan URL dinamis, dan pengidentifikasi sesi (Umum untuk situs web e-niaga)
• Konten duplikat di tempat
• Halaman yang diretas
• Halaman kesalahan lunak
• Kualitas rendah dan konten spam

Membuang sumber daya server pada laman seperti ini akan menguras aktivitas perayapan dari laman yang benar-benar memiliki nilai, yang dapat menyebabkan penundaan signifikan dalam menemukan konten bagus di situs.

Misalnya, melihat file log ini, kami menemukan bahwa tema WordPress yang salah sedang sangat sering dikunjungi, ini adalah perbaikan yang jelas!

Saat melihat jumlah acara yang diperoleh setiap halaman, tanyakan pada diri Anda apakah Google harus repot-repot merayapi URL ini – Anda akan sering menemukan jawabannya tidak. Oleh karena itu, mengoptimalkan anggaran perayapan Anda akan membantu mesin telusur merayapi dan mengindeks halaman terpenting di situs web Anda. Anda dapat melakukannya dengan beberapa cara, seperti mengecualikan URL agar tidak dirayapi dengan memblokir URL yang berisi pola tertentu dengan file robots.txt . Lihat posting bermanfaat kami tentang masalah ini.

2. Apakah Halaman Penting Anda Sedang Dirayapi?

Kami telah membahas mengapa penting bagi Google untuk tidak menyia-nyiakan anggaran perayapan pada laman bernilai rendah Anda. Sisi lain dari koin adalah untuk memeriksa bahwa halaman bernilai tinggi Anda sedang dikunjungi dengan kepentingan yang Anda tempatkan pada mereka. Jika Anda mengurutkan file log berdasarkan Jumlah Peristiwa dan memfilter menurut HTML, Anda dapat melihat halaman yang paling sering dikunjungi.

Akan terlalu disederhanakan untuk mengatakan bahwa URL terpenting Anda harus paling banyak dirayapi – namun, jika Anda adalah situs gen utama, Anda ingin beranda, halaman layanan utama, dan konten blog Anda muncul di sana.

Sebagai situs e-niaga, Anda ingin beranda, halaman kategori, dan halaman produk utama Anda muncul di sana. Jika Anda melihat halaman produk lama yang tidak lagi Anda jual dan tidak ada halaman kategori terpenting dalam hasil ini, berarti Anda mengalami masalah.

3. Cari Tahu Apakah Situs Anda Telah Beralih ke Indeks Mobile-First Google

Anda dapat mencatat analisis file untuk mengetahui apakah situs web Anda mendapatkan peningkatan perayapan oleh Ponsel Cerdas Googlebot, yang menunjukkan bahwa situs tersebut telah dialihkan ke indeks mobile-first . Mulai 1 Juli 2019, pengindeksan yang memprioritaskan seluler diaktifkan secara default untuk semua situs web baru (baru di web atau sebelumnya tidak dikenal di Google Penelusuran). Google sendiri telah menyatakan:

“Untuk situs web lama atau yang sudah ada, kami terus memantau dan mengevaluasi halaman berdasarkan praktik terbaik yang dirinci dalam panduan ini. Kami memberi tahu pemilik situs di Search Console tentang tanggal situs mereka dialihkan ke pengindeksan yang memprioritaskan seluler.” Praktik terbaik pengindeksan pertama Google Seluler

Biasanya situs yang masih dalam indeks reguler akan memiliki sekitar 80% perayapan Google yang dilakukan oleh perayap desktop dan 20% oleh perayap seluler. Kemungkinan besar Anda telah beralih ke mobile-first, dan jika sudah, angka 80/20 tersebut akan dibalik.

Anda dapat menemukan info ini dengan melihat tab Agen Pengguna di Screaming Frog Log Analyzer – Anda akan melihat sebagian besar peristiwa berasal dari Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, seperti Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html:

Jika Anda telah dialihkan, Anda juga seharusnya telah menerima pemberitahuan di Google Search Console bahwa situs web Anda telah mengaktifkan pengindeksan yang memprioritaskan seluler. Atau, Anda juga dapat melihat ini di laporan liputan.

4. Apakah Semua Bot Mesin Pencari Target Anda Mengakses Halaman Anda?

Berpegang teguh pada bot, ini adalah pemeriksaan yang mudah untuk dilakukan. Kami tahu bahwa Google adalah mesin pencari yang dominan dan oleh karena itu memastikan Ponsel Cerdas Googlebot dan Googlebot secara teratur mengunjungi situs web Anda harus menjadi prioritas Anda.

Kami dapat memfilter data file log dengan bot mesin pencari.

Setelah difilter, Anda dapat melihat jumlah peristiwa yang direkam oleh setiap bot mesin pencari yang Anda inginkan. Mudah-mudahan, Anda akan melihat Ponsel Cerdas Googlebot atau Googlebot paling sering mengunjungi situs Anda.

Saya juga merekomendasikan untuk memeriksa seberapa banyak setiap bot yang tidak diinginkan mengunjungi situs web Anda. Misalnya, jika Anda adalah bisnis Inggris tanpa keinginan untuk menjual barang atau jasa ke Rusia atau China, Anda dapat melihat seberapa banyak bot Yandex dan Baidu mengunjungi situs Anda. Jika mereka mengunjungi dalam jumlah yang tidak biasa (saya telah melihat dalam beberapa kasus mereka mengunjungi lebih dari Googlebot Smartphone), Anda dapat melanjutkan dan memblokir crawler di robots.txt Anda.

5. Menemukan Kode Status yang Salah

Sementara kami mendapatkan banyak sekali data dalam laporan cakupan Google Search console tentang 404-an, 200-an yang valid, file log memberi kami gambaran umum aktual tentang kode status setiap halaman. Hanya file log atau pengiriman pengambilan dan perenderan Google Search Console secara manual yang dapat memungkinkan Anda menganalisis kode respons terakhir yang akan dialami mesin telusur.

Dengan Screaming Frog Log File Analyzer Anda, Anda dapat melakukannya dengan cepat dan, karena mereka diurutkan berdasarkan frekuensi perayapan, Anda juga dapat melihat URL mana yang berpotensi paling penting untuk diperbaiki.

Untuk melihat data ini, Anda dapat memfilter informasi ini di bawah tab kode respons

Cari halaman dengan status HTTP 3xx, 4xx & 5xx

• Apakah mereka sering dikunjungi?
• Apakah halaman dengan 3xx, 4xx & 5xx dikunjungi lebih dari halaman penting Anda?
• Apakah ada pola pada kode respons?

Dengan satu proyek, di 15 halaman teratas dengan hit terbanyak, ada pengalihan , pengalihan 302 (sementara) yang salah, halaman tanpa konten di dalamnya dan beberapa di antaranya 404 dan 404 lunak .

Dengan analisis file log Anda, setelah Anda mengidentifikasi masalah, Anda dapat mulai memperbaikinya dengan memperbarui pengalihan yang salah dan 404 lunak.

6. Sorot Kode Respons yang Tidak Konsisten

Meskipun penting untuk menganalisis kode respons terakhir yang akan dialami mesin telusur, menyoroti kode respons yang tidak konsisten juga dapat memberi Anda wawasan yang bagus.

Jika Anda hanya melihat kode respons terakhir dan tidak melihat kesalahan yang tidak biasa atau lonjakan apa pun di 4xxs & 5xxs, Anda mungkin menyimpulkan pemeriksaan teknis Anda di sana. Namun, Anda dapat menggunakan filter di penganalisis file log untuk hanya melihat respons 'tidak konsisten' secara detail.

Ada banyak alasan mengapa URL Anda mungkin mengalami kode respons yang tidak konsisten. Sebagai contoh:

• 5xx dicampur dengan 2xx - ini dapat menunjukkan masalah server ketika mereka berada di bawah beban yang parah.
• 4xx dicampur dengan 2xx – ini dapat menunjukkan tautan rusak yang telah muncul atau telah diperbaiki

Setelah Anda memiliki informasi ini dari analisis file log, Anda dapat membuat rencana tindakan untuk memperbaiki kesalahan ini.

7. Audit Halaman Besar atau Lambat

Kami tahu waktu untuk byte pertama (TTFB), waktu untuk byte terakhir (TTLB), dan waktu untuk memuat halaman penuh memengaruhi cara situs Anda dirayapi. TTFB, khususnya, adalah kunci untuk membuat situs Anda dirayapi dengan cepat dan efektif. Dengan kecepatan halaman juga menjadi faktor peringkat, kita dapat melihat betapa pentingnya situs web yang cepat untuk kinerja Anda.

Dengan menggunakan file log, kami dapat dengan cepat melihat halaman terbesar di situs web Anda dan halaman paling lambat.

Untuk melihat halaman terbesar Anda, urutkan kolom 'Bytes Rata-rata'.

Di sini kita dapat melihat PDF membuat halaman terbesar di situs web. Mengoptimalkan ini dan mengurangi ukurannya adalah tempat yang bagus untuk memulai. Jika Anda melihat halaman tertentu muncul di sini, Anda mungkin ingin melihatnya satu per satu.

• Apakah mereka ditutupi dengan gambar beresolusi tinggi?
• Apakah mereka memiliki video yang diputar secara otomatis?
• Apakah mereka memiliki font khusus yang tidak perlu?
• Apakah kompresi teks telah diaktifkan?

Sementara ukuran halaman adalah indikator yang baik dari halaman yang lambat, itu bukan segalanya. Anda dapat memiliki halaman yang besar tetapi masih dapat memuat dengan cepat. Urutkan kolom 'Waktu Respons Rata-rata' dan Anda dapat melihat URL dengan waktu respons paling lambat.

Seperti semua data yang Anda lihat di sini, Anda dapat memfilter berdasarkan HTML, JavaScript, Gambar, CSS & lainnya, yang sangat berguna untuk audit Anda.

Mungkin tujuan Anda adalah untuk mengurangi ketergantungan situs web Anda pada JavaScript dan ingin menemukan penyebab terbesarnya. Atau Anda tahu CSS dapat disederhanakan dan membutuhkan data untuk mencadangkannya. Situs Anda mungkin dimuat dengan sangat cepat dan pemfilteran dengan gambar menunjukkan kepada Anda bahwa menyajikan format generasi berikutnya harus menjadi prioritas.

8. Periksa Tautan Internal & Pentingnya Kedalaman Perayapan

Fitur hebat lainnya dari penganalisis file log ini adalah kemampuan untuk mengimpor perayapan situs web. Ini sangat mudah dilakukan dan memberi Anda lebih banyak fleksibilitas dalam apa yang dapat Anda analisis dari file log Anda. Cukup seret dan lepas perayapan ke 'Data URL yang Diimpor' yang terlihat di bawah.

Setelah Anda selesai melakukannya, Anda dapat melakukan analisis lebih lanjut.

Pastikan Anda memilih di tarik-turun 'Cocok dengan Data URL' dan seret kolom yang relevan ke tampilan. Di sini kami dapat melakukan analisis massal tentang dampak kedalaman perayapan dan tautan masuk pada frekuensi perayapan situs web Anda.

Misalnya, jika Anda memiliki halaman 'penting' yang tidak sering dirayapi dan Anda melihat halaman tersebut memiliki sedikit tautan masuk dan kedalaman perayapan di atas 3, kemungkinan besar ini adalah alasan mengapa laman Anda tidak banyak dirayapi. Sebaliknya, jika Anda memiliki halaman yang sedang dirayapi banyak dan Anda tidak yakin mengapa, lihat di mana halaman itu berada di situs Anda. Di mana itu terhubung? Berapa jauh dari akarnya? Menganalisis ini dapat menunjukkan kepada Anda apa yang disukai Google tentang struktur situs Anda. Pada akhirnya, teknik ini dapat membantu Anda mengidentifikasi masalah apa pun dengan hierarki dan struktur situs.

9. Temukan Halaman Yatim

Akhirnya, dengan data perayapan yang diimpor, menemukan halaman yatim piatu itu mudah. Halaman yatim piatu dapat didefinisikan sebagai halaman yang diketahui oleh mesin pencari, dan sedang dirayapi tetapi tidak ditautkan secara internal di situs web Anda.

Memilih tarik-turun 'Tidak dalam data URL' akan memunculkan URL yang ada di log tetapi tidak ada di data perayapan Anda . Oleh karena itu, URL yang muncul di sini akan menjadi halaman yang menurut bot mesin pencari masih memiliki nilai, tetapi tidak lagi muncul di situs web. URL yatim piatu dapat muncul karena berbagai alasan termasuk:

• Perubahan struktur situs
• Pembaruan konten
• URL lama yang dialihkan
• Tautan internal salah
• Tautan eksternal salah

Pada akhirnya, Anda perlu meninjau URL anak yatim yang Anda temukan dan membuat keputusan tentang apa yang harus dilakukan dengan mereka.

Pikiran terakhir

Jadi itulah pengantar singkat saya untuk analisis file log dan 9 tugas yang dapat ditindaklanjuti yang dapat Anda mulai segera dengan Screaming Frog Log File Analyzer. Ada banyak lagi yang dapat Anda lakukan, baik di Excel maupun dengan alat lain yang disebutkan di atas (ditambah yang lain). Lebih dari yang bisa saya bahas di sini! Di bawah ini adalah beberapa sumber yang menurut saya berguna:

7 Pertanyaan Dasar SEO Teknis untuk Dijawab Dengan Analisis File Log

Panduan Utama untuk Log Analisis File

Nilai Analisis File Log

Dan ada banyak lagi di luar sana untuk dibaca yang seharusnya memuaskan para penggemar SEO teknis yang paling penasaran!

Bagaimana Anda melakukan analisis file log? Alat apa yang menurut Anda berfungsi paling baik? Tim SEO kami akan senang mengetahuinya. Komentar dibawah.

Jika Anda memerlukan bantuan dengan SEO Anda, jangan ragu untuk menghubungi kami.