SEOについて調べている中で「クロールバジェット」という言葉を耳にしたことはありませんか？
昨今ちらほらと見かける「クロールバジェット」。はっきりとした意味を理解しておらず、誤解したまま使っている方も少なくありません。
実は巷で言われている「クロールバジェット」を一言で説明できるような言葉はGoogle内部には存在しないそうです。
以前からこの言葉によって外部の人間とのコミュニケーションギャップに繋がることもあったそうなので、2017年1月17日にGoogle公式ブログで「Googlebot のクロール バジェットとは？」という記事が公開されました。
今回はこの記事に書かれているGooglebotでの「クロールバジェット」の意味や実情、サイト運営にあたりどういった点を気にすべきかなどをご紹介していきたいと思います。
公式ブログでは、「クロールバジェット(クロールの割り当て)」を以下のように定義しています。
クロール速度とクロールの必要性の両方を考慮したうえで、Google ではクロールの割り当てを「クロールの必要性があり、かつ Googlebot がクロール可能な URL の数」
つまり、Googlebotがページをどのようにクロールするのかは「クロール速度」と「クロールの必要性」という2つが重要になってきます。
Googlebotはそのサイトにアクセスするユーザーを優先し、頻繁にクロールすることによって負荷がかかることがないようにクロールを行っています。この仕組みを「クロールレート」と呼びます。
「クロールレート」はそのサイトの同時アクセス可能数やサイトからの応答時間を表し、その状態によってクロールが増えたり減ったりします。
アクセス数が多くサーバーに負荷がかかっている場合にはクロールを減らし、そうでない場合には増えるといったように、サイト毎にクロールレートは変化します。
Search Consoleを使用することで「クロールレート」の調整が可能ですが、上限を高く設定したからといってクロールが増えるわけではありません。
Googlebotのクロールによって応答時間が低下している場合などに用いるものですので、使用の際には注意して下さい。
クロール速度の上限に達していない場合であっても、インデックスされる必要性がないと判断された場合にはクロールが減ることがあります。
クロールする必要があるかどうかを決めるうえで大きな要素となるのが以下の2つです。
また、サイト移転などで新URLをインデックスに再登録させるためにクロールの必要性が高まることもあります。
公式ブログでは「クロールバジェット」の定義以外に、影響を及ぼす要因についても触れられています。
価値の低いページがサイトに多数存在する場合、クロールやインデックスに悪影響を及ぼす可能性があることがGoogleの分析によりわかりました。
価値の低いページの重要度は以下の順にカテゴライズされます。
このようなページでサーバーのリソースが無駄に消費されていると、実際に価値のあるページのクロールを妨げることになります。
また、長いリダイレクトチェーン(リダイレクトを繰りかえす)がある場合もクロールに悪影響を及ぼします。
クロール速度はサイトからの応答時間やサーバーエラーなどによって変化するのですが、今までクロールしたことのない全く新しいサイトについてはどうなるのでしょうか？
Googleのゲイリー・イリェーシュ氏によると、全てのサイトは最初に一律のクロール速度が割り当てられるとのことです。
もちろんサイト規模に左右はされません。どの規模でも一律です。
ある程度インデックスが進んでからサイト毎に調整されていくそうです。
ここまで長々と書いてきましたが、「クロールバジェット」について神経質に考える必要はありません。
公式ブログ冒頭には以下のように記載されています。
まず重要なのは、以下で述べるように、クロール バジェットとは、ほとんどのウェブマスターの方々にとって気にすべきものではない、ということです。 新しいページが公開された当日にクロールされることが多い場合、ウェブマスターの方がクロール バジェットを重視する必要はありません。同様に、数千以下の URL 数しか持たないサイトにおいては、ほとんどの場合、クロールは効率的に行われるでしょう。
もしあなたが何百、何千というページを毎日更新している大規模サイトの運営者でもない限りは、クロールバジェットの最適化を考慮する必要はありません。
今後大規模サイトを運営するようなことがあれば「クロールバジェットの最適化」が必要になってくることがあるかもしれませんので、SEOの知識の1つとして頭の片隅にとどめておいてください。
