Apa Itu Kesalahan 404 'Lembut' dan Akankah Mereka Mempengaruhi Peringkat Saya?

Kesalahan 404 lunak berbeda dari kesalahan 404 biasa dan dapat berbahaya bagi situs Anda. Penting untuk memperbaikinya agar situs web Anda dapat berkinerja baik dari perspektif SEO.

Anda mungkin akrab dengan kode kesalahan 404 yang memberi tahu Anda bahwa halaman web yang Anda cari belum ditemukan. Tapi tahukah Anda menggunakan pesan kesalahan ini dalam konteks yang salah dapat menghasilkan apa yang dikenal sebagai soft 404, yang dapat memengaruhi kinerja SEO Anda?

Pemasar terkadang mengabaikan aspek teknis situs web tersebut dan mengharapkan pengembang web untuk menanganinya. Ini dapat merusak kinerja situs web dalam hasil pencarian, itulah sebabnya spesialis SEO perlu bekerja sama dengan pengembang web.

Artikel ini akan fokus pada satu kategori tertentu dari kesalahan perayapan, yang jika dibiarkan tidak terselesaikan, dapat sangat mengurangi jumlah halaman mesin pencari seperti perayapan dan indeks Google dalam hasil pencarian mereka. Dalam artikel ini, kami akan membahas:

• Apa kesalahan 404 yang lembut itu?
• Masalah dengan kesalahan 404 lunak
• Cara memperbaiki kesalahan 404 lunak
• Mengapa memperbaiki kesalahan 404 lunak akan membantu kinerja situs web Anda

Apa itu Kesalahan 404 Lembut?

Pesan kesalahan 404 yang sebenarnya terjadi ketika server situs web mengembalikan kode respons standar HTTP 404 untuk menunjukkan bahwa itu tidak dapat menemukan halaman web ( URL ) yang diminta oleh pengguna. Ini memberi tahu browser dan mesin pencari bahwa halaman tersebut tidak ada.

Apa yang kebanyakan orang tidak mengerti adalah bahwa isi halaman – pesan 'halaman tidak ditemukan' – sama sekali tidak berhubungan dengan respon HTTP yang dikembalikan oleh server. Hanya karena sebuah halaman menampilkan pesan 404 File Not Found, bukan berarti halaman ini secara otomatis ditetapkan sebagai halaman 404.

Dalam kata-kata Google sendiri: “ Ini seperti jerapah memakai tag nama yang mengatakan 'anjing'. Hanya karena label namanya mengatakan itu anjing, bukan berarti itu benar-benar seekor anjing. Demikian pula, hanya karena halaman mengatakan 404, tidak berarti itu mengembalikan kode status 404. ”

Kesalahan 404 lunak terjadi ketika halaman yang tidak ada (halaman yang telah dihapus/dihapus) menampilkan pesan 'halaman tidak ditemukan' kepada siapa pun yang mencoba mengaksesnya tetapi gagal mengembalikan kode status HTTP 404. Mereka juga dapat terjadi ketika halaman yang tidak ada mengarahkan pengguna ke halaman yang tidak relevan, seperti halaman beranda, alih-alih mengembalikan kode status HTTP 404.

Hal penting untuk diingat di sini adalah bahwa konten halaman web sama sekali tidak terkait dengan respons HTTP yang dikembalikan oleh server.

Perbedaan ini penting untuk SEO karena menentukan bagaimana Google memperlakukan halaman. Perayapan dan pengindeksan adalah proses yang dilalui bot Google sebelum mencantumkan halaman situs web Anda di halaman hasil mesin pencari. Ketika pesan kesalahan 404 yang sebenarnya dikembalikan, bot Google tidak menghabiskan waktu untuk merayapi atau mengindeks halaman. Ketika kesalahan 404 lunak dikembalikan, halaman masih dirayapi dan diindeks.

Masalah Dengan Kesalahan 404 Lembut

Jika situs web Anda menampilkan kode status HTTP selain 404 (atau 410) untuk laman yang tidak ada, hal itu dapat berdampak negatif pada kinerja situs web dalam penelusuran organik. Ini berarti bahwa jika situs web Anda memiliki proporsi kesalahan 404 lunak yang tinggi, itu bisa berbahaya. Dengan gagal menyajikan kode status 404, situs web Anda memberi tahu mesin telusur bahwa ada laman asli di URL yang mereka coba akses. Akibatnya, URL yang telah Anda hapus (tanpa konten) akan dirayapi dan diindeks, sehingga membuang anggaran perayapan yang berharga pada halaman yang berlebihan.

Google mendefinisikan Anggaran Perayapan sebagai "jumlah URL yang dapat dan ingin dirayapi Googlebot." Anggaran Perayapan dibagi menjadi Tingkat Perayapan dan Permintaan Perayapan:

• Tingkat Perayapan – Dirancang untuk membantu Google agar tidak merayapi halaman Anda terlalu sering atau terlalu cepat dan merusak server Anda
• Permintaan Perayapan – Seberapa banyak Google ingin merayapi halaman Anda. Ini didasarkan pada seberapa populer halaman Anda dan seberapa basi konten dalam indeks Google

Google tidak ingin membuang waktu tanpa henti untuk merayapi konten di situs web yang sama, jadi masuk akal jika mereka menetapkan 'anggaran' untuk perayapan web mereka sebelum pindah ke situs web lain.

Berpegang pada gagasan anggaran perayapan, jika situs web memiliki proporsi kesalahan 404 lunak yang tinggi, maka halaman tersebut akan dirayapi. Proses perayapan halaman yang tidak ada ini akan selalu menghabiskan anggaran perayapan yang tidak perlu yang ditetapkan ke situs. Karena waktu yang dihabiskan Googlebot untuk merayapi soft 404, URL unik Anda mungkin tidak ditemukan secepat atau sesering mungkin – sehingga mengurangi visibilitas konten penting di situs Anda.

Pada akhirnya, jika Anda memiliki persentase soft 404 yang tinggi, Anda tidak hanya membuang anggaran perayapan pada halaman yang tidak berarti, tetapi juga mengurangi visibilitas halaman penting Anda. Oleh karena itu, tidak mengherankan bahwa ketika kesalahan 404 lunak diselesaikan, kinerja situs web dalam hasil pencarian organik cenderung meningkat.

Untuk menjelaskan bagaimana Anda menilai sejauh mana masalah soft 404, mari kita lihat contoh situs web yang menampilkan sejumlah kesalahan 404 lunak di Google Search Console. Pada contoh di bawah, kami melihat 147 kesalahan 404 lunak dilaporkan untuk situs web yang dimaksud. Ini mungkin menyebabkan bel alarm berbunyi, tetapi pertama-tama kita perlu mempertimbangkan gambar dalam konteksnya.

Untuk melakukan ini, kita perlu memeriksa berapa banyak halaman web di situs web yang telah dikirimkan ke Google untuk dirayapi dan diindeks. Untuk tugas ini, kita akan melihat peta situs XML untuk situs web yang dimaksud – yang merupakan indikator utama berapa banyak halaman yang dimiliki situs web. Anda dapat melihat peta situs XML mana yang telah dikirimkan di Search Console > Peta Situs

Dan cakupan, yang menunjukkan berapa banyak halaman web yang diindeks atau memiliki masalah dapat ditemukan di Search Console > Cakupan > Temukan peta situs XML di dropdown

Contoh di atas menunjukkan bahwa Google mengindeks 3,31 ribu halaman konten dari situs web yang bersangkutan.

Melihat data di atas, kita dapat melihat bahwa situs web ini memiliki sekitar 3.409 halaman, sehingga 107 kesalahan 404 lunak sekarang mulai tampak sedikit kurang menyenangkan. Namun, pada lebih dari 3% dari total halaman situs, 107 kesalahan 404 lunak masih membuang sebagian anggaran perayapan yang ditetapkan untuk situs web ini. Dalam hal ini, Google menghabiskan terlalu banyak waktu untuk merayapi URL yang sebenarnya tidak ada.

Bagaimana Saya Menyelesaikan Masalah Ini?

Google hanya mengizinkan Anda mengekspor maksimum 1000 URL di Google Search Console. Pada contoh di atas, ada kurang dari 1000 kesalahan yang dilaporkan, sehingga dapat diunduh langsung melalui Search Console. Setelah Anda mengekspor daftar URL, Anda harus menilai mengapa halaman tersebut dilaporkan sebagai soft 404s. Google memberikan beberapa informasi tentang URL yang mereka soroti sebagai soft 404, seperti yang Anda lihat pada contoh di bawah ini:

Dalam kebanyakan kasus, Anda akan menemukan bahwa situs web akan menyajikan kode status 200 (OK) pada halaman yang menampilkan pesan “halaman tidak ditemukan”. Oleh karena itu, hal pertama yang perlu Anda lakukan adalah menjalankan pilihan halaman kesalahan 404 lunak melalui pemeriksa kode status HTTP seperti httpstatus.io , untuk menilai kode status mana yang dikembalikan oleh halaman tersebut.

Katakanlah contoh domain di bawah ini menampilkan halaman 404 kepada pengguna yang mencoba mengaksesnya, tetapi ketika kami memeriksa kode respons menggunakan pemeriksa kode status HTTP, itu mengembalikan respons HTTP 200. Ini adalah contoh utama kesalahan 404, karena kode respons HTTP menunjukkan kepada robot mesin telusur bahwa laman itu ada dan harus dirayapi. Namun, tidak ada konten di halaman yang dikembalikan oleh server.

Halaman mengembalikan kode respons server HTTP 200. Diperiksa menggunakan: https://https status.io/

Masalah lain yang mungkin Anda temui saat mendiagnosis akar penyebab kesalahan 404, adalah pengalihan 301/302 yang tidak tepat.

Pengalihan 301 harus digunakan saat halaman dihapus secara permanen dan Anda ingin mengirim orang ke halaman baru yang lebih sesuai. Pengalihan 302 mirip dengan 301 tetapi digunakan saat halaman dihapus sementara.

Beberapa webmaster memilih untuk mengalihkan semua laman yang dihapus ke beranda situs web alih-alih menampilkan kesalahan 404, yang sama sekali tidak pantas dan membingungkan robot mesin telusur . Penting untuk diperhatikan bahwa memiliki 404 di situs web Anda bukanlah hal yang buruk. Halaman yang dihapus atau produk yang kehabisan stok hanya boleh dialihkan ke pengganti langsung. Jika pengganti langsung tidak ada maka Anda harus menyajikan halaman kesalahan 404 khusus untuk menampilkan opsi atau produk alternatif kepada pengguna.

Saya telah menyoroti contoh pengalihan yang tidak pantas yang memicu kesalahan 404 lunak di bawah ini. Dalam hal ini, webmaster menggunakan 302 redirect untuk mengarahkan siapa pun yang mencoba mengakses halaman yang telah dihapus, dan mengarahkan pengguna tersebut ke halaman 404 khusus – halaman yang sebenarnya tidak menyajikan kode status HTTP 404. Ini akan sangat memengaruhi cara mesin pencari merayapi situs web yang dimaksud, karena mesin pencari diperintahkan untuk mencari halaman lain yang sebenarnya telah dihapus. Jika robot mesin telusur mengikuti instruksi tersebut, mereka pada akhirnya akan disajikan kode status HTTP 200 (OK) untuk halaman yang menampilkan pesan kesalahan 404, yang merupakan tingkat praktik buruk lainnya.

Contoh pengalihan 302 yang digunakan untuk mengirim pengguna ke halaman kesalahan 404 khusus

Anda tidak boleh menggunakan pengalihan untuk menayangkan halaman kesalahan 404. Sebagai gantinya, sajikan kode respons HTTP 404 saat halaman apa pun yang Anda hapus atau hapus dari situs web Anda diminta dan tidak ada penggantian langsung. Ini akan mencegah situs web Anda memicu sejumlah besar kesalahan 404 lunak dan akan memastikan mesin pencari hanya merayapi dan mengindeks halaman yang ingin Anda rangking.

Halaman mengembalikan kode respons server HTTP 404. Diperiksa menggunakan: http://httpsstatus.io/

Akankah Mengatasi Soft 404 Errors Meningkatkan Traffic ke Situs Web Saya?

Hasil proyek SEO teknis yang pernah kami kerjakan untuk klien e-niaga memperjelas mengapa Anda harus selalu mencatat kesalahan 404 lunak. Kami melihat klien yang bersangkutan memiliki proporsi kesalahan 404 lunak yang sangat tinggi dibandingkan dengan jumlah total halaman di situs mereka. Kami menemukan ini karena situs web mereka menyajikan 404 pesan tanpa mengembalikan kode status HTTP 404 untuk banyak produk mereka yang dihapus, yang jumlahnya ribuan.

Setelah kami mendiagnosis masalah tersebut, kami menghubungi pengembang web klien untuk memastikan server mereka mengembalikan kode status HTTP 404 di samping pesan 'halaman tidak ditemukan' untuk produk apa pun yang telah mereka hapus dari situs web mereka. Pengembang menerapkan perbaikan seperti yang kami sarankan, dan dua hari kemudian, kami melihat lalu lintas organik telah meningkat secara dramatis. Ini meningkat dari rata-rata 1.400 sesi per hari menjadi rata-rata 2.600 per hari.

Cerita tidak berakhir di situ guys. Ternyata klien ini menggunakan platform situs web khusus yang digunakan oleh banyak pengecer online lainnya – artinya situs web lain yang dibuat oleh pengembang berjalan di platform yang sama. Jadi, ketika pengembang mulai menyajikan kode status HTTP 404 untuk halaman yang dihapus di platform mereka, bisnis lain yang menggunakan platform itu mulai melaporkan peningkatan tajam dalam lalu lintas organik mereka. Saya hanya dapat berasumsi bahwa pengembang web mengambil semua pujian untuk ini, meskipun pertempuran selama sebulan, kami telah meyakinkan mereka bahwa 404 lunak layak diselesaikan sejak awal!

Soft 404s: Pentingnya Teknis SEO

SEO teknis adalah sesuatu yang hanya diketahui oleh banyak pemasar. Memang, bahkan untuk praktisi SEO, seringkali area yang cenderung jatuh ke tangan pengembang web. Ini dapat menyebabkan peluang besar yang terlewatkan dalam hal meningkatkan visibilitas pencarian organik. Fungsi teknis situs web adalah apa yang saya anggap sebagai blok bangunan SEO dan seperti yang telah kita lihat pada contoh di atas, fungsi tersebut sangat penting untuk situs web e-niaga tingkat perusahaan.

TL;DR – Terlalu Panjang; Tidak Membaca

• Setiap kali pesan kesalahan 404 (tidak ditemukan) ditampilkan pada halaman, server harus mengembalikan kode respons standar HTTP 404.
• Konten halaman (pesan 'halaman tidak ditemukan') sama sekali tidak terkait dengan respons HTTP yang dikembalikan oleh server.
• Kesalahan 404 lunak terjadi ketika halaman yang tidak ada (halaman yang telah dihapus/dihapus) menampilkan pesan 'halaman tidak ditemukan' kepada siapa pun yang mencoba mengaksesnya tetapi tidak mengembalikan kode status HTTP 404. Hal ini dapat terjadi ketika halaman yang dihapus mengarahkan pengguna ke halaman yang tidak relevan seperti halaman beranda situs web.
• Jumlah soft 404 yang dilaporkan perlu dibandingkan dengan jumlah total halaman yang dapat diindeks di situs – jika rasio soft 404/halaman yang dapat diindeks ini tinggi, ini dapat berdampak negatif pada kinerja situs web dalam pencarian organik dengan membuang anggaran perayapan yang berharga.
• Menyelesaikan masalah 404 lunak dapat secara dramatis meningkatkan efisiensi perayapan dan memastikan mesin telusur hanya menghabiskan waktu merayapi halaman yang Anda inginkan.
• Memperbaiki kesalahan 404 lunak Anda dapat meningkatkan visibilitas situs web dalam pencarian organik.

Jika Anda memerlukan bantuan dengan SEO Anda, jangan ragu untuk menghubungi kami.