クロール予算とは何ですか？SEOにとってなぜそれが重要なのですか？
公開: 2021-04-29あなたが検索エンジンのためにあなたのサイトを最適化しようとしているなら、あなたはグーグルのクローラーまたはスパイダーへの合格の紹介を持っている可能性があります。 彼らは正式にはGooglebotsと呼ばれ、彼らの仕事はあなたのウェブサイトをクロールしてインデックスを付けることです。そうすれば、Googleはそれが検索結果に表示するのに完璧に機能していることを知ることができます。
ただし、これらのクローラーがWebサイトのすべてのページにすぐにアクセスするわけではなく、完全にインデックスを作成するのに数週間かかる場合があります。 これは、SEOの取り組みを妨げる可能性があります。 これらすべてのWebページであり、誰もそれらを見ることができません。
これが発生した場合、できることはクロール予算を最適化することだけです。
クロール予算は、ウェブサイトの所有者にとって新しい用語です。 ほとんどの人は、ランキングプロセスをスピードアップするための魔法のツールと考えています。 ただし、そのようには機能しません。
これは、Web管理者、デジタルマーケター、およびSEOスペシャリストがクロール予算についてすべて理解するのに役立つ完全なガイドです。
クロール予算とは正確には何ですか？
クロールバジェットは、Googlebotが特定の時間枠でクロールしてインデックスを作成するウェブページのURLの数です。つまり、GoogleがウェブサイトでクロールするURLの最大数です。 これは、Google検索結果での可視性とランキングを決定する重要な要素です。
Webページにインデックスを付けて検索結果に表示する場合は、クローラーを必要なもので誘い込んでWebサイトに招待する必要があります。
Googleは各URLのクロールバジェットを決定しますが、常に同じであるとは限りません。 ほとんどの場合、クロールバジェットを高くするための鍵は、ページランクを高くすることです。 クロールバジェットは、最も重要なページがクロールされるかどうか、およびクロールされる場合はどのくらいの頻度でクロールされるかも決定します。 最良の部分は、詳細なクロールとインデックス作成もGoogleの希望どおりに実行されることです。
したがって、Googlebotとの良好な関係を構築したい場合は、優れたバックリンク、高品質のコンテンツ、およびそれが絶対に愛するすべての優れたSEOを提供することにより、検索エンジンの信頼を獲得してください。 したがって、いくつかのSEO戦術を調整し、Webサイトを改善して、クローラーをURLに招待します。
検索エンジンとクロール予算–それらがどのように連携するか
検索エンジンが一度に何百万ものウェブページを処理するという事実はすでに知っています。 それでも、検索結果を収集するために実行する3つの基本的な手順があります。
- クロール：公開WebページにアクセスするWebクローラーのプロセスが必要です。
- インデックス作成：これは、Googleが各URLとそのコンテンツを分析する場所です。 結果の情報は保存または索引付けされます。
- ランキング： Googleがインデックスに登録されたURLを分析すると、検索クエリにより、それに応じてSERPに表示されます。
検索バーに検索が入力されるたびに、検索エンジンはWeb上でインデックス付けされた数百万のページにクローラーを送信します。 クローラーは新しいウェブサイトよりも頻繁にインデックスに登録されたページにアクセスし、GoogleはSERPでページをランク付けする前にページを分析するのに十分な時間を要します。
結果の一番上に表示されるすべてのページは、検索バーに入力された単語に関連しており、検索エンジンの観点から最も信頼できます。
クローラーがないと、Webページにインデックスが付けられたり、SERPに表示されたりすることはありません。 また、Webサイトのページ数がクロール予算を超えているとします。 その場合、Googleが予算を増やさない限り、インデックスに登録されない可能性のあるページが残ります。
クロール予算は、SEO運用において重要な役割を果たします。 実際、SEOの専門家は、検索エンジンのシステムとアルゴリズムを決定するために「クロールバジェット」という用語を導入しました。
これは、SEOスペシャリストが、特定のWebサイトでクロールがどのように機能するかを理解して示すのに役立ちます。 クロールされるページはいくつですか？ ページがクロールされる回数。 どのページがクロールされますか？ これは、ウェブサイトが検索エンジンから受ける注目を定義する用語です。
ただし、クロール予算は、Webサイト管理者が心配する必要がある最後のことです。 彼らのウェブサイトがよく構成され、SEOが最適化されており、信頼できる高品質のコンテンツを持っている限り。 クローラーは独立してウェブサイトにアクセスします。 ただし、これを機能させるには、Webページにインデックスを付ける必要があります。
もう1つ覚えておくべきことは、クローラーには優先順位があるということです。 クローラーの優先度マトリックスは、頻度の低い大規模なサイトと頻度の高い小規模なサイトを優先します。 ただし、それはビジネスモデルと業種によって異なります。
適切な指標でクロール予算を理解する
クロールバジェットを深く理解するために、開始するために知っておく必要のあるいくつかの重要な概念を以下に示します。
クロール需要
ウェブサイトをSERPに提供するために全力で機能するのはクローラーではなく、特定のURLの需要である場合があります。 したがって、Googlebotは、インデックスから直接取得した特定のURLのリクエストも考慮します。 これは、ボットがURLのアクティブ度を判断するのに役立ちます。
これらの2つの要因により、URLのクロール需要がさらに決まります。
URLの人気：人気のあるURLはより頻繁にインデックスに登録されます。 URLの人気は、Webページにあるインバウンドリンクとバウンドリンクの数によって異なります。 Webサイトの評判を高めるには、堅牢なデジタルマーケティングとSEO戦略を使用してWebサイトを最適化します。
古さ： Googlebotは、古くなったURLにクローラーを送信することを回避し、どちらもメリットをもたらしません。 これらの古くて冗長なリンクは、ページに古いコンテンツがあることをGoogleに伝えます。
Googleは、クロールレート制限とクロール要求の両方を使用して、クロールするURLの数（クロールバジェット）を決定します。
クローラーとクロールバジェットについてすべて理解できたので、SEOにとってクロールバジェットが不可欠であることを理解しましょう。
クロールレート制限
Googleは、注意しないと、ボットがWebサイトに極端な制約を課すことを理解しています。 そのため、追加されたトラフィックに耐えられるサイトにのみクローラーがアクセスするように制御システムを開発しました。 この制御システムはクロールレート制限と呼ばれ、Googleがウェブサイトのクロール予算を決定するのに役立ちます。
クロール速度制限の仕組みは次のとおりです。
- Googlebotは複数のウェブページをクロールします
- ボットはサイトサーバーをプッシュして、サイトがどのように応答するかを確認します
- ボットはレートを増減します
ただし、事前定義された制限がWebサイトで機能しない場合は、Google検索コンソールから変更できます。 所有しているWebサイトの[クロール速度の設定]ページを開いて変更できます。
クロール予算がSEOにとって重要なのはなぜですか？
検索エンジンでインデックスに登録されたページをできるだけ早くランク付けする場合は、新しいページを追加し、古いページを更新して、サイトに新しいコンテンツを注入し続けます。 また、URLを更新して、検索ボットをWebページに誘導する必要があります。
すべてを更新すると、Googlebotまたはクローラーがすぐに表示され、新しいコンテンツを検索してページのインデックスを作成します。 あなたのページが索引付けされるとすぐに、あなたはそれらから利益を得ることができるでしょう。
ただし、ページとWebサイトがSEOに最適化されていない場合、クロール予算は無駄になります。 これは、SEOとクロールバジェットの間の最も表面的な関係です。 クロール予算を最大限に活用したい場合は、WebサイトのSEOプラクティスを改善して、ページができるだけ早くインデックスに登録されるようにします。
検索エンジンがあなたのウェブサイトに到達することは決してなく、あなたがこれまでに行ったであろうすべてのSEOの努力を無駄にするので、あなた自身の危険であなたのクロール予算を浪費してください。 これはあなたのウェブサイトのランキングに影響を与え、それを孤立させたままにします。
クロールバジェットとSEOの関係を理解したところで、メカニズムについて詳しく見ていきましょう。
クロール予算はSEOに対してどのように機能しますか？
Webサイトのページ数がWebサイトのクロール予算を超えているとします。 その場合、超過しているWebページがインデックスに登録されない可能性があります。 それにもかかわらず、グーグルはページを独立して見つけてインデックスを付けるのがかなり得意であると一般に信じられているので、ほとんどのウェブサイトの所有者はそれを気にしません。
それは事実ですが、次の場合はクロールバジェットに注意を払うことをお勧めします。
多数のWebページがある大規模なWebサイト
10,000を超えるWebページとURLを含む大規模なWebサイトは、Googleにとって厄介な場合があります。 さらに、グーグルがそれらすべてを同一または類似のクエリに対してランク付けすることは難しいでしょう。
あなたのウェブサイトに新しく追加されたページ
あなたがあなたのウェブサイトに新しいページを追加するとき、それらは検索エンジンにとって新しいものです。 Googlebotにそれらを見つけてもらいたいとします。 できるだけ早くインデックスに登録できるように、ウェブページがクロール予算を下回っていることを確認する必要があります。 そうでない場合、Googleはそれらのページをインデックスに登録しません。 また、インデックスに登録されることは、ランク付けされることと同じではないことを忘れないでください。
あなたのウェブサイトで有効にされたリダイレクト
Web上の多くのページは、さまざまな理由で他のページにリダイレクトされることがよくあります。 ただし、このリダイレクトされたURLまたはリダイレクトチェーンは、リダイレクトされた各ページにもインデックスを付ける必要があるため、Webサイトのクロール予算を使い果たします。
信頼性に関する問題
Webサイトのスパムスコアが高く、コンテンツが古く、URLが壊れているかインデックスに登録されていないため、ユーザーエクスペリエンスが低下するとします。 それが本当なら、訪問者は予想より早く跳ね返る可能性があり、クローラーはあなたのウェブサイトがSERPで上位にランク付けされるのに十分ではないと信じるようになります。
あなたのウェブサイトのクロールトラップ
クローラーがWebページにアクセスし、クロールの予算に影響を与えると、特定の技術が作用します。 ボットは、サイトにアクセスして探しているものが見つからない場合、抜け穴に引っかかる可能性があります。 これにより、クローラーが特定のWebサイトに戻ることを思いとどまらせ、サイトの信頼性に大きな影響を与えます。
そうは言っても、SEOプラクティスをすべてのWebページで効率的にしたい場合は、クロール予算を最大化する必要があります。 それを行う方法がわからない場合は、いくつかの方法を実装して、Webサイトのクロール予算を最大化できます。
その前に、あなたのウェブサイトのランキングを改善するために関係するすべてがあなたのウェブサイトのクロール予算を最大化するために不可欠であることを覚えておいてください。
クロール予算を最大化するための5つのヒント
前述のように、クロール予算がすべて使い果たされると、Googlebotにウェブサイトのインデックスを作成させるのは難しい場合があります。 しかし、それは不可能ではありません。
Googleが提供する予算を最大限に活用するためにできることは次のとおりです。
サイトマップを作成し、整理されたナビゲーション用
サイトマップは、Webサイトへのマップとして機能し、Webサイト全体でクローラーをガイドします。 整理された状態を維持するために、すべてのWebページとリソースを構造化されたツリーのような形式で文書化します。 適切なサイトマップがないと、Googlebotはウェブサイト全体を確認する必要があり、インデックスを作成するページと作成しないページを決定する際に混乱を招きます。
ただし、サイトマップを使用すると、Googleはウェブサイトのサイズと各ページの重要性を認識します。 サイトマップは、Webサイトに適切なクロールパターンを作成し、クローラーがWebページ間を移動しやすくします。 さらに、Googleは、ウェブサイトをより適切に分析するためにサイトマップを用意することをお勧めします。
あなたのウェブサイトの速度と機能を改善する
Googlebotがより多くのウェブページにアクセスできるようにする場合は、ウェブサイトが高速で応答性が高く、機能していることを確認する必要があります。 このようにして、クローラーはクラッシュや遅延を伴うWebサイトのより多くのページにアクセスできるようになります。
Google自体は、「サイトを高速化すると、ユーザーエクスペリエンスが向上すると同時に、クロール速度も向上します」と述べています。 さらに、検索コンソールでクロールエラーレポートを確認することをお勧めします。
応答がなく遅いウェブページがあると、Googlebotの貴重な時間が無駄になり、他のウェブページに移動してしまいます。
フラットなウェブサイト構造を維持する
Googleは、人気のあるURLがSERPに頻繁に表示され、インデックスに新しい状態が長く続くと述べています。 そうは言っても、SERPでの人気は、同じWebサイトの他のURLに転送できるURLへのリンク権限を提供します。
フラットなWebサイトアーキテクチャを維持することで、一部のページのリンク機関がWebサイトの他のすべてのURLに流暢にストリーミングできるようになります。
質の高いコンテンツでWebページを最新の状態に保つ
SERPでページをランク付けする場合、Googleは、更新された情報を含む高品質のコンテンツを含むページを優先します。 WebページをSERPで上位にランク付けし、クロール予算を最大化するように努める場合は、オーディエンスに価値を提供する高品質のコンテンツがあることを確認してください。
この状況で関係するもう1つの主要な要因は、コンテンツの重複です。 品質を維持したい場合は、Webページのオリジナルコンテンツを作成する必要があります。 グーグルはすべてをタイムラインで索引付けしているので、重複したコンテンツはあなたのウェブサイトにとって価値がありません。 複製されたコンテンツをWebページに追加すると、Webページの信頼性が低下するだけです。
オリジナルの高品質のコンテンツ、検証可能なリソース、およびWebページ上の信頼できるリンクは、検索エンジンに適切なシグナルを提供し、最終的には上位にランク付けするのに役立ちます。
Webページに内部リンクを追加する
Googlebotは、ウェブページ上のインバウンドリンクとアウトバウンドリンクを検出します。内部リンクもランキングで重要な役割を果たします。 内部リンクと外部リンクが多いページもSERPで上位にランク付けされます。これは、クロールバジェットを最大化するSEOの基本的な経験則です。
内部リンクは、クローラーが1つのページから別のページにリダイレクトすることにより、Webサイト全体をナビゲートするのにも役立ちます。 Webサイトにサイトマップがない場合、内部リンクもある程度その空白を埋め、クローラーがナビゲートしやすくします。
まとめ
クロール予算を尊重することで、長期的にはWebサイトを成功させることができますが、心配する必要はありません。 小規模なWebサイトでは、それほど問題にはなりません。 あなたが1万以上のウェブページを持つ大規模なウェブサイトを運営しているとき、懸念は高まります。
そうは言っても、クロール予算はSEOと連携して機能しますが、必ずしもSERPでのランキングの向上につながるとは限りません。 Googleが特定のクエリに対してSERPでウェブサイトをランク付けするとき、何百もの要因が関係します。 これは、クロールが重要な役割を果たしますが、ランキングには影響しない場所です。
ただし、この複雑な情報はすべて、新しい開業医にとっては非常に圧倒される可能性があります。 したがって、クロール予算について専門家に相談し、検索ランキングが高くなるように最適化することをお勧めします。