Memahami Laporan Cakupan Indeks

Diterbitkan: 2018-12-20

Jika Anda telah melihat pesan seperti ini selama beberapa minggu terakhir, tarik napas dalam-dalam dan teruslah membaca! Dalam artikel ini saya akan menjelaskan mengapa Anda melihat masalah cakupan dari Google Search Console dan bagaimana cara memperbaikinya.

Apa itu Laporan Cakupan Indeks

Dengan diluncurkannya Google Search Console yang diperbarui, ada sejumlah fitur yang disempurnakan yang harus diperhatikan. Salah satu fitur tersebut adalah Laporan Cakupan Indeks yang menguraikan berapa banyak URL situs Anda yang telah dikatalogkan (atau diindeks) oleh Google dan akan muncul di hasil pencarian Google. Laporan ini sebelumnya ditemukan di "Status Indeks" dalam antarmuka Search Console lama:

LAMA VS BARU

Sekarang, Laporan Cakupan Indeks dapat ditemukan di bawah menu “Indeks”, lalu klik “Cakupan.” Anda akan diperlihatkan URL mana yang memiliki Kesalahan pengindeksan, Peringatan (atau Valid dengan Peringatan), Valid, atau Dikecualikan dari indeks Google. Untuk memahami laporan ini dengan benar, mari kita telusuri apa arti masing-masing kelompok ini.

Kesalahan : Ini adalah halaman yang saat ini tidak disajikan kepada pencari di Google tetapi Google juga yakin ini bukan niat Anda.

Kesalahan dapat dipicu dengan berbagai cara, termasuk sesuatu yang sederhana seperti robots.txt yang memblokir perayap dari halaman yang Anda kirimkan untuk pengindeksan hingga sesuatu yang lebih rumit seperti kesalahan server (kesalahan tingkat 500). Berita bagus? Sebagian besar kesalahan ini dapat diperbaiki dengan relatif mudah dengan bantuan dari webmaster, agensi pemasaran digital, atau tim pengembangan web Anda.

Kesalahan yang lebih umum yang kami lihat di Lantai Atas adalah “URL yang dikirim diblokir oleh robots.txt” dan “URL yang dikirimkan bertanda 'noindex.'” Ini adalah kesalahan yang tidak terlalu berbahaya dan terjadi dengan mengirimkan URL untuk pengindeksan melalui Google Search Console saat file robots.txt tidak mengizinkan perayapan ke URL ini atau yang berisi tag noindex. Ini adalah sinyal yang bertentangan karena situs Anda memberi tahu mesin pencari untuk tidak merayapi atau mengindeks halaman ini, namun pada saat yang sama memintanya untuk diindeks. Google akan melihat ini sebagai tidak disengaja dan menandainya di bawah Kesalahan daripada Dikecualikan (atau de-indeks yang disengaja).

Untuk cara lain menemukan Error, lihat di bawah:

  • Kesalahan server (5xx) : Server tidak dapat menemukan URL saat diminta dan mengembalikan kesalahan tingkat 500.
    • Solusi : Bicaralah dengan tim pengembangan Anda untuk memperbaiki sisi server ini. Tidak banyak lagi yang bisa dilakukan tim lain di sini tanpa pengalaman yang tepat.
  • Kesalahan pengalihan : Ada masalah dalam rantai pengalihan yang terkait dengan URL ini. Entah ada loop pengalihan atau URL dalam rantai memiliki kesalahan tingkat 400 atau 500.
    • Solusi : Merangkak URL, menggunakan Screaming Frog atau alat lain, dan mengidentifikasi kesalahan tingkat 400 atau 500 di salah satu URL dalam rantai pengalihan. Jika tidak yakin, bicarakan dengan agensi pemasaran digital Anda dan mereka memeriksanya untuk Anda.
  • S URL yang dikirim diblokir oleh robots.txt : Anda mengirimkan halaman ini untuk pengindeksan dalam Google Search Console, tetapi halaman saat ini sedang diblokir oleh file robots.txt.
    • Solusi : Periksa kembali file robots.txt Anda di www.yoursite.com/robots.txt. Pastikan baris yang dimulai dengan "larang" tidak merujuk ke URL atau subfolder dengan URL yang dimaksud. Agen pemasaran digital Anda dapat membantu mengidentifikasi masalah apa pun di robots.txt.
  • URL yang dikirimkan bertanda 'noindex ': Anda mengirimkan halaman ini untuk pengindeksan, tetapi halaman tersebut memiliki tag meta 'noindex' atau header HTTP.
    • Solusi : Evaluasi URL, apakah Anda ingin halaman ini ditemukan ketika sedang dicari Google? Jika ya, cukup hapus tag meta atau header HTTP. Jika Anda tidak dapat menemukan tag noindex dengan melihat sumber halaman (Kontrol + U), tanyakan kepada agen pemasaran digital atau tim pengembangan Anda.
  • URL yang dikirimkan tampaknya Soft 404 : Anda mengirimkan halaman ini untuk pengindeksan, tetapi Google yakin halaman ini adalah soft 404.
    • Solusi: Soft 404 error adalah ketika muncul halaman dengan konten error 404, tapi kode statusnya bukan 404, tapi 200. Periksa halaman tersebut, apakah seharusnya benar-benar halaman error dan kode statusnya salah? Terkadang Google akan salah mengartikan halaman dengan konten rendah sebagai soft 404. Dalam kedua kasus tersebut, pertimbangkan pengalihan 301 untuk membawa pengguna ke halaman aktif yang relevan.
  • URL yang dikirimkan tidak ditemukan (404) : Anda mengirimkan URL kode kesalahan 404 untuk pengindeksan melalui Google Search Console.
    • Solusi : Anda tidak ingin halaman kesalahan dalam indeks karena memberikan pengalaman pengguna yang buruk. Jika halaman ini diperkirakan tidak akan kembali menjadi 200 halaman status hidup di masa mendatang, 301 mengalihkannya ke konten yang relevan di situs Anda.

Peringatan : URL yang ditampilkan di bagian Peringatan, atau Valid dengan Peringatan, dikategorikan dari Google sebagai “Halaman…mungkin memerlukan perhatian Anda, dan mungkin telah diindeks atau tidak, menurut hasil spesifik”1

Jadi apa artinya ini? Bagi saya, ini berarti Google tidak yakin bagaimana menangani URL, tetapi dengan enggan menyimpannya untuk diindeks. Terlepas dari situasi setiap URL, singkirkan ketidakpastian ini dan gali mengapa setiap URL ditandai. Dari apa yang saya lihat sejauh ini, seseorang menggunakan file robots.txt sebagai alat de-indeks. Ini tidak benar karena beberapa alasan.

File robots.txt digunakan untuk menyiapkan aturan guna mencegah mesin telusur merayapi area tertentu di situs Anda. Jika URL ditampilkan kepada pencari di Google dan Anda ingin ini berhenti, jangan tambahkan klausa larangan ke file robots.txt Anda karena ini akan mengisyaratkan Google untuk berhenti memeriksa halaman ini dengan crawler, spider, atau apa pun nama yang ingin Anda berikan kepada mereka. Untuk benar-benar mengambil URL dari Google, atau mesin pencari apa pun, berikan tag noindex baik di <head> HTML atau melalui header HTTP.

Meskipun fokus artikel ini adalah pada Kesalahan dan Peringatan, mari kita bahas bagian Valid dan Pengecualian dengan cepat.

Valid : Cukup sederhana, ini adalah daftar URL yang telah berhasil diindeks. Satu-satunya QA yang harus dilakukan di sini adalah untuk peta situs XML Anda dan untuk memastikan Anda tidak mengindeks sesuatu yang tidak Anda inginkan. Untuk melakukannya, cukup klik kotak “Valid” (hilangkan kebingungan dengan hanya menyorot satu kotak pada satu waktu) dan tinjau bagian Detail.

Anda akan bertemu dengan dua Jenis Detail utama, "Dikirim dan diindeks" dan "Diindeks, tidak dikirimkan di peta situs:"

  • Dikirim dan diindeks: Ini adalah daftar URL dari situs Anda yang dikonfirmasi Google berhasil diindeks.
  • Diindeks, tidak dikirimkan di peta situs: Ini adalah URL terindeks yang tidak muncul di peta situs XML Anda. Bergantung pada situs Anda, biasanya jumlahnya tidak banyak. Jika Anda ingin URL diindeks, Anda harus membantu mesin pencari, dan diri Anda sendiri, dan menambahkannya ke peta situs XML Anda. Jika tidak yakin bagaimana melakukannya, hubungi agensi pemasaran digital Anda dan mereka dapat melakukan QA peta situs Anda dengan tepat.

Dikecualikan : Ini adalah URL yang sengaja dikeluarkan dari indeks Google. Hal ini dapat terjadi melalui banyak cara yang berbeda, tetapi Google yakin situs Anda mengambil langkah-langkah untuk menjauhkan URL ini dari pencarian. Ini sama sekali bukan masalah dan merupakan bagian dari situs yang sehat. Sumber daya internal, seperti halaman yang dilindungi kata sandi atau URL gambar yang dihasilkan oleh situs WordPress harus dikeluarkan dari indeks karena merupakan pengalaman halaman arahan yang buruk bagi pencari online.

Punya Pertanyaan?

Jika Anda telah membaca artikel ini dan masih tidak yakin bagaimana menangani masalah Cakupan Anda, silakan hubungi kami dan tim pemasaran pencarian kami akan dengan senang hati membantu Anda mengatasinya.