Tarama ve Dizine Ekleme: Bilmeniz gereken her şey

Web sitenize gelen trafiğin kalitesini ve miktarını artırma yöntemi SEO (Arama Motoru Optimizasyonu) olarak bilinir. Doğal olarak daha yüksek arama sıralamaları elde etmek için web sayfalarını optimize etme sürecidir. Bir arama motoruna nelerin güç verdiğini hiç merak ettiniz mi? Web indeksleme veya web tarama için bazı mekanizmaların World Wide Web'i sistematik bir şekilde nasıl tarayabildiği dikkat çekicidir.

Sürekli artan SEO trendleri ışığında, Tarama ve Dizine Eklemenin arama sonuçlarını sunmadaki temel rolüne daha yakından bakalım.

Emekleme

Tarama, arama motorlarının yeni bağlantıları, yeni web sitelerini veya açılış sayfalarını, mevcut verilerdeki güncellemeleri, bozuk bağlantıları ve diğer şeyleri tespit etmek için web tarayıcılarını kullandığı süreçtir. Web tarayıcılarına ayrıca "örümcekler", "botlar" veya "örümcekler" de denir. Botlar bir web sitesini ziyaret ettiğinde, sitedeki diğer sayfaları taramak için dahili bağlantıları kullanırlar.

Sonuç olarak, Google Bot'un web sitesini taramasını kolaylaştırmanın en önemli nedenlerinden biri site haritası oluşturmaktır. Site haritasında önemli bir URL listesi bulunabilir.

Ör: https://iquelab.in/sitemap_index.xml

DOM Modeli, bot tarafından web sitesini veya web sayfalarını her araştırdığında kullanılır (Belge Nesne Modeli). Bu DOM, web sitesinin mantıksal ağaç yapısını yansıtır.

Sayfanın işlenmiş HTML ve Javascript koduna DOM denir. Tüm web sitesini bir kerede taramak neredeyse imkansız olurdu ve bu uzun zaman alırdı. Sonuç olarak, Google Bot sitenin yalnızca, bu web sitelerini sıralamaya yardımcı olabilecek belirli istatistikleri ölçmek için nispeten önemli olan en önemli alanlarını tarar.

Google Tarayıcı için Web Sitesini Optimize Edin

Bazen, Google Crawler'ın bir web sitesindeki belirli önemli sayfaları dizine eklemediği durumlarla karşılaşırız. Sonuç olarak, arama motoruna siteyi nasıl tarayacağını öğretmeliyiz. Bunu yapmak için bir robots.txt dosyası oluşturun ve bunu alan adının kök dizininde saklayın.

Robots.txt dosyası, tarayıcının web sayfasını sistematik olarak taramasına yardımcı olur. robots.txt dosyası, tarayıcılara hangi URL'lerin taranması gerektiği konusunda talimat verir. Bot, robots.txt dosyasını bulamazsa, tarama işine devam eder. Ayrıca web sitesinin Tarama Bütçesi yönetimine de yardımcı olur.

Taramayı Etkileyen Öğeler

Oturum açma sayfaları güvenli sayfalar olduğundan, bir bot oturum açma formlarının arkasındaki materyali veya herhangi bir web sitesi kullanıcıların oturum açmasını gerektiriyorsa taramaz.

Sitedeki arama kutusu bilgileri Googlebot tarafından taranmaz. Birçok kişi, bir müşteri istediği ürünü arama kutusuna yazdığında, Google tarayıcısının siteyi taradığına inanır. Bu özellikle e-ticaret siteleri için geçerlidir.

Botun fotoğraf, ses, video, metin vb. medya türlerini tarayacağının garantisi yoktur. Önerilen yöntem, metni (resim adı olarak) HTML> koduna eklemektir.

Arama Motoru Botlarına Gizleme belirli ziyaretçiler için web sitelerinin tezahürüdür (örneğin, bot tarafından görülen Sayfalar, Kullanıcılardan farklıdır).
Arama motoru tarayıcıları, zaman zaman internetteki diğer web sitelerinden web sitenize bir bağlantı görebilir. Benzer şekilde, tarayıcı, farklı açılış sitelerine gitmek için sitenizin bağlantılarına güvenir.

Yetim sayfalar, tarayıcılar onlara ulaşmanın bir yolunu bulamadığı için kendilerine atanmış herhangi bir dahili bağlantıya sahip olmayan sayfalardır. Ayrıca, siteyi tararken bot tarafından neredeyse görünmezler.

Tarayıcılar, 404, 500 ve diğerleri gibi bir web sitesinde 'Tarama hatalarıyla' karşılaştığında, hayal kırıklığına uğrar ve sayfayı terk eder. Web sayfalarını geçici olarak yeniden yönlendirmek için bir '302 - yeniden yönlendirme' veya bir '301 - kalıcı yönlendirme' kullanılması tavsiye edilir. Arama motoru tarayıcıları için köprüyü yerleştirmek çok önemlidir.

Web Tarayıcılarından birkaçı –

Googlebot

Googlebot, Google için web sitelerini tarayan ve dizine ekleyen bir web tarayıcısıdır (bazen örümcek veya robot olarak da bilinir). Herhangi bir yargıda bulunmadan sadece web sitelerindeki aranabilir metni alır. Ad, iki tür web tarayıcısıyla ilgilidir: biri masaüstü için diğeri mobil cihazlar için.

Bingbot

Microsoft, Ekim 2010'da bir tür internet botu olan Bingbot'u piyasaya sürdü. Googlebot ile aynı şekilde çalışır ve SERP'ler için aranabilir bilgiler sağlamak üzere web sitelerinden belgeler toplar.

Slurp Botu

Yahoo web tarayıcısının bulguları Slurp botu tarafından oluşturulur. İş ortağının web sitesinden bilgi toplar ve materyali Yahoo'nun arama motoru için uyarlar. Bu tarama sayfaları, birkaç web sayfasında kullanıcı kimlik doğrulamasını doğrular.

Baiduspider

Baidu'nun örümceği, Çin arama motorunun robotudur. Bot, tüm tarayıcılar gibi, kullanıcının sorgusuyla ilgili bilgileri toplayan bir yazılım parçasıdır. İnternetin web sayfalarını yavaş yavaş tarar ve dizine ekler.

Yandex Botu

Yandex, bir Rus arama motorudur ve aynı ada sahip bir arama motorunun tarayıcısıdır. Benzer şekilde, Yandex botu sayfayı düzenli olarak tarar ve ilgili verileri veritabanına kaydeder. Kullanıcı dostu arama sonuçlarının oluşturulmasına yardımcı olur. Yandex, Rusya'da yüzde 60 pazar payıyla dünyanın beşinci en büyük arama motorudur.

Şimdi Google'ın sayfaları nasıl indekslediğini anlamak için devam edelim.

indeksleme

Dizin, arama motoru tarayıcısı tarafından dizine eklenen tüm verilerin veya sayfaların bir koleksiyonudur. İndeksleme işlemi, elde edilen materyalin bir arama indeksi veritabanında saklanması işlemidir. Önceden kaydedilen veriler daha sonra dizine alınmış veriler kullanılarak benzer sayfalara kıyasla SEO algoritması metriklerine göre değerlendirilir. Bir web sitesinin sıralamasına yardımcı olduğu için indekslemenin önemi göz ardı edilemez.

Google'ın neyi indekslediğini nasıl bilebilirsiniz?

SERP'de kaç sayfanın indekslendiğini görmek için arama kutusuna “site:alanınız” yazın. Bu, diğer şeylerin yanı sıra sayfalar, makaleler ve fotoğraflar da dahil olmak üzere Google'ın dizine eklediği tüm sayfaları görüntüler.

URL'lerin dizine eklenmesini sağlamanın en kolay yolu, tüm önemli sayfaların bir listesini içeren Google Arama Konsolu'na bir site haritası göndermektir.

SERP'deki tüm önemli sayfaları sunmak söz konusu olduğunda, web sitesi indeksleme çok önemlidir. Googlebot materyali göremezse dizine eklenmez. Googlebot, web sitesinin tamamını HTML, CSS ve Javascript gibi çeşitli biçimlere ayrıştırır. Erişilemeyen bileşenlerde indeksleme yapılmayacaktır.

Google neyin indeksleneceğine nasıl karar verir?

Bir kullanıcı Google'a bir sorgu yazdığında, veritabanının dizine eklenmiş sitelerinden en alakalı yanıtı bulmaya çalışır. Google, bilgileri kendi algoritma setini kullanarak dizine ekler. Genellikle, Google'ın kullanıcı deneyimini iyileştireceğine inandığı bir web sitesindeki yeni içeriği dizine ekler. İçeriğin kalitesi ve web sitesindeki bağlantıların kalitesi ne kadar yüksek olursa, SEO için o kadar iyidir.

Web sitelerimizin indeksleme süreçlerine nasıl ulaştığını belirlemek.

Önbelleğe alınmış sürüm

Google, site sayfalarını düzenli olarak tarar. Web sayfasının önbelleğe alınmış sürümünü görmek için URL'nin yanındaki 'açılır' işaretini tıklayın (aşağıdaki ekran görüntüsünde gösterildiği gibi).

URL'ler kaldırıldı

EVET! SERP üzerinde indekslendikten sonra web sayfaları kaldırılabilir. Kaldırılan web sitelerinin, diğer şeylerin yanı sıra 404 hatası döndürmesi, URL'leri yeniden yönlendirmesi veya kopuk bağlantılara sahip olması mümkündür. URL'lere bir 'noindex' etiketi de eklenecektir.

Meta etiketleri

Sitenin <head> bölümünün HTML kodunda bulunur.

• dizin, noindex

Bu işlev, arama motoru tarayıcısına sayfaların dizine eklenmesi gerekip gerekmediğini belirtir. Bot bunu varsayılan olarak bir 'indeks' işlevi olarak görür. 'noindex'i seçtiğinizde, tarayıcılara sayfaları SERP'den kaldırmaları talimatını vermiş olursunuz.

• Takip et/takip etme

Arama motoru tarayıcısının hangi sayfaların izlenmesi gerektiğini ve ne kadar bağlantı eşitliğinin geçirilmesi gerektiğini belirlemesine olanak tanır.

İşte örnek kod

< head >< meta name =”robots” content=”noindex, nofollow” /></ head >

Gerekli tüm bilgileri topladıktan sonra, web sitenizi optimize etmek için Kerala'nın önde gelen SEO ajansı tarafından sağlanan gelişmiş SEO hizmetlerini kullanın. Aşağıdaki yorumlar bölümünde sohbete katılın.