クロール予算の最適化：無駄なクロール予算を停止するための8つのヒント

クロール予算とは何ですか？

クロール予算とは、Googleが特定の日にクロールするサイトのページ数を指します。 これは、クロール速度の制限とクロールの需要に基づいています。

クロール速度の制限は、ウェブサイトのユーザーエクスペリエンスに影響を与えることなくGoogleがクロールできるページ数です。 基本的に、Googleはサーバーにリクエストで過負荷をかけたくないので、サーバーが処理できるもの（サーバーリソース）とサイトをクロールする量の間の適切な媒体を見つけます。

クロールの需要は、URLの人気度とその鮮度によって決まります。 URLが古く、検索する人が少ない場合、GoogleはそのURLをクロールする頻度を減らします。

クロール速度に影響を与えることはできませんが、新しいコンテンツを作成し、SEOのベストプラクティスを使用してサイトを最適化し、404や不要なリダイレクトなどのSEOの問題に取り組むことで、クロールの需要に影響を与えることができます。

クロール予算の最適化とは何ですか？

クロール予算の最適化は、検索クローラーのナビゲーション性を改善し、クロール予算の無駄を減らすことで、Googlebotがサイトにアクセスし、クロールし、インデックスを作成しやすくするプロセスです。 これには、エラーやリンク切れの削減、内部リンクの改善、重複コンテンツのインデックス作成の禁止などが含まれます。

Googleがサイト上の十分な数のページをクロールしていない場合、または十分な頻度でページをクロールしていない場合、クロール予算が問題になる可能性があります。

使用できるリソースの数が限られているため、Googleは特定の日に特定のサイトに非常に多くのクロールしか割り当てることができません。 大規模なサイトがある場合、これは、Googleがサイトのページのごく一部を毎日クロールするためのリソースしか持っていない可能性があることを意味します。 これは、ページがインデックスに登録されるまで、またはコンテンツの更新がGoogleのランキングに反映されるまでにかかる時間に影響を与える可能性があります。

ありがたいことに、サイトでGoogleのクロール予算の問題が発生していると思われる場合は、サイトを最適化してクロール予算を最大限に活用するためにできることがいくつかあります。

クロール統計レポートを確認する方法

Google検索コンソールでクロール統計を確認するか、サーバーファイルログを分析することで、クロール予算の問題を特定できます。

Google検索コンソールでクロール統計レポートを表示すると、Googlebotがウェブサイトとどのようにやり取りしているかをよりよく理解するのに役立ちます。 これを使用して、Googleのクローラーが何をしているかを確認する方法は次のとおりです。

Google検索コンソールを開き、ログインして、ウェブサイトを選択します。 次に、検索コンソールメニューから[設定]オプションを選択します。

過去90日間のクロールレポートは、クロール統計セクションで確認できます。 [レポートを開く]をクリックして開きます。

クロール統計レポートの意味

Googlebotのアクティビティを確認できたので、次はデータをデコードします。 クロールレポートから取得できる情報の種類の簡単な内訳は次のとおりです。

メインのクロールチャートには、Googlebotのクロールアクティビティが視覚的に表示されます。 ここでは、（1）過去90日間にGoogleが行ったクロールリクエストの数、（2）サイトのサーバーの平均応答時間、およびクロール中にダウンロードされた合計バイト数を確認できます。

「ホストステータス」セクション（3）は、クローラーがWebサイトへのアクセス中に可用性の問題に遭遇したかどうかを通知します。

白いチェックマークが付いた緑色の円は、Googlebotで問題が発生していないことを示し、ホストがスムーズに実行されていることを示します。

緑のチェックマークが付いた白い円は、Googlebotで1週間以上前に問題が発生したことを意味しますが、現在はすべて正常に動作しています。

白い感嘆符が付いた赤い円は、Googlebotが過去1週間以内に少なくとも1つの重大な問題に遭遇したことを示します。

クロールリクエストの内訳は、Googleのクローラーがサイトとどのようにやり取りしているかについての詳細情報を提供します。

応答による

最初に確認するセクションは、「応答別」セクションです。 このセクションでは、サイトのページをクロールしようとしたときにGooglebotが受け取った応答の種類について説明します。 Googleは、次のことを適切な回答と見なしています。

• OK（200）
• 恒久的に移動（301）
• 一時的に移動しました（302）
• 移動（その他）
• 変更なし（304）

理想的には、応答の大部分は200である必要があります（一部の301も問題ありません）。 「見つかりません（404）」のようなコードは、ウェブサイトに行き止まりがあり、クロール予算に影響を与える可能性があることを示しています。

ファイルの種類

[ファイルの種類別]セクションには、クロール中にGooglebotが検出したファイルの種類が表示されます。 表示されるパーセンテージ値は、各ファイルタイプのバイトのパーセンテージではなく、そのタイプの応答のパーセンテージを表しています。

目的別

「目的別」セクションは、クロールされたページがクローラーが以前に見たページ（更新）であったか、クローラーにとって新しいページ（検出）であったかを示します。

Googlebotタイプ別

最後に、[Googlebotの種類別]セクションでは、リクエストを行ってサイトをクロールするために使用されるGooglebotクロールエージェントの種類について説明します。 たとえば、「スマートフォン」タイプはGoogleのスマートフォンクローラーによる訪問を示し、「AdsBot」タイプはGoogleのAdsBotクローラーの1つによるクロールを示します。 ちなみに、robots.txtファイルを編集することで、特定の種類のGooglebotがウェブサイトをクロールできないようにすることができます。

クロールレポートのデータを解釈する方法について詳しく知りたい場合は、検索コンソールのクロールレポートに関するGoogleのガイドをご覧ください。

クロール予算を無駄にしているかどうかを見分ける方法

クロール予算の最適化がGooglebotがより多くのページをクロールするのに役立つかどうかを判断する簡単な方法は、サイトのページの何パーセントが実際に1日にクロールされているかを確認することです。

あなたがあなたのウェブサイトに持っているユニークなページの正確な数を見つけて、それを「1日あたりの平均クロール」数で割ってください。 1日にクロールされるページの合計ページ数が10倍以上ある場合は、クロール予算の最適化を検討する必要があります。

クロールの予算に問題があると思われる場合は、[応答別]セクションを確認して、クローラーで発生している可能性のあるエラーの種類を確認することから始めます。 予算内で何が食い尽くされているかを正確に確認するには、より詳細な分析を実行する必要があります。 サーバーログを見ると、クローラーがサイトとどのように相互作用しているかについての詳細がわかります。

サーバーログを確認する

クロールの予算を無駄にしていないかどうかを確認するもう1つの方法は、サイトのサーバーログを確認することです。 これらのログには、Googlebotがサイトをクロールするときに行うリクエストを含め、ウェブサイトに対して行われたすべてのリクエストが保存されます。 サーバーログを分析すると、Googleがウェブサイトをクロールする頻度、クローラーが最も頻繁にアクセスしているページ、クローラーボットが検出したエラーの種類を知ることができます。

これらのログは手動で確認できますが、このデータを探すのは少し面倒です。 ありがたいことに、SEMRushログファイルアナライザーやScreaming Frog SEOログファイルアナライザーなど、いくつかの異なるログアナライザーツールを使用して、ログデータを並べ替えて理解することができます。

クロール予算SEO：クロール予算を最適化する8つの方法

無駄なクロール予算を明らかにしましたか？ クロール予算のSEO最適化戦略は、無駄を抑えるのに役立ちます。 パフォーマンスを向上させるためにSEOクロールバジェットを最適化するのに役立つ8つのヒントを次に示します。

1. Finetune Robots.txt＆MetaRobotsタグ

無駄なクロール予算を抑える1つの方法は、Googleのクローラーが最初に特定のページをクロールしないようにすることです。 インデックスに登録したくないページからGooglebotを遠ざけることで、より重要なページに注意を向けることができます。

robots.txtファイルは、クロールするページと立ち入り禁止のページを宣言する検索クローラーの境界を設定します。 robots.txtファイルにdisallowコマンドを追加すると、それらのページを指すリンクがない限り、指定されたサブディレクトリへのアクセス、クロール、インデックス作成がブロックされます。

ページレベルでは、メタロボットタグを使用して特定のページのインデックスを作成できません。 noindexタグを使用すると、Googlebotはページにアクセスしてそのリンクをたどることができますが、ページ自体のインデックス作成を控えるようにGooglebotに指示します。 このタグは、HTMLコードの<head>要素に直接入り、次のようになります。

 <meta name=”robots” content=”noindex” />

2.コンテンツを整理する

価値の低いURLや重複するコンテンツをサイトでホストすることは、クロール予算の足かせになる可能性があります。 Webサイトのページを詳しく調べると、クロールの予算を使い果たし、より価値のあるコンテンツがクロールされてインデックスに登録されるのを防ぐ可能性のある不要なページを特定するのに役立ちます。

価値の低いURLであると見なされるものは何ですか？ Googleによると、価値の低いURLは通常、次のいずれかのカテゴリに分類されます。

• 重複するコンテンツ
• セッション識別子
• ソフトエラーページ
• ハッキングされたページ
• 低品質でスパムコンテンツ

重複するコンテンツを特定するのは必ずしも簡単ではありません。 ページのコンテンツのほとんどが別のページのコンテンツと同じである場合（コンテンツを追加したり、単語を変更したりした場合でも）、Googleはそれをかなり類似していると見なします。 noindexメタタグと正規タグを使用して、インデックスを作成する必要がある元のページを示します。

価値の低いものとして登録される可能性のあるコンテンツを更新、削除、またはインデックス付けしないことで、Googlebotにサイト上の本当に重要なページをクロールする機会を増やすことができます。

3.JavaScriptを削除またはレンダリングします

GooglebotはHTMLの読み取りに問題はありませんが、JavaScriptを読み取ってインデックスを作成するには、JavaScriptをレンダリングする必要があります。 そのため、Googleはページ上のJavaScript要素をクロールしてインデックスを作成するのではなく、ページ上のHTMLコンテンツをクロールしてから、ページをレンダリングキューに配置します。 レンダリングに専念する時間とリソースがある場合は、JavaScriptをレンダリングして「読み取り」、最後にインデックスを作成します。 この余分な手順は、時間がかかるだけでなく、クロールの予算も多くなります。

JavaScriptはページの読み込み時間にも影響を与える可能性があり、サイトの速度とサーバーの読み込みはクロールの予算に影響を与えるため、JavaScriptが多すぎると、Googleがサイトをクロールする頻度が低くなる可能性があります。

クロールの予算を節約するために、JavaScriptでページのインデックスを作成しないか、JavaScript要素を削除するか、動的なJavaScriptコンテンツを静的なHTMLとしてレンダリングし、Googleが理解してクロールしやすくするPrerenderなどのツールを使用できます。

4.301リダイレクトチェーンを取り外します

301リダイレクトは、削除するURLから別の関連するURLにトラフィックとリンクの公平性を転送するための便利でSEOに適した方法です。

ただし、リダイレクトを追跡していないと、誤ってリダイレクトチェーンを作成する可能性があります。 これにより、サイトの訪問者の読み込み時間が長くなるだけでなく、クローラーが実際のコンテンツの1ページにアクセスするためだけに複数のURLをクロールする可能性もあります。 つまり、Googleは、宛先ページに到達するためにリダイレクトチェーン内のすべてのURLをクロールする必要があり、その過程でクロール予算を使い果たします。

これを防ぐには、すべてのリダイレクトが最終的な宛先を指していることを確認してください。 可能な限りリダイレクトチェーンの使用を避けることは常に良い習慣です。 それでも間違いが発生するため、時間をかけて手動でサイトを確認するか、リダイレクトチェックツールを使用して301リダイレクトチェーンを見つけてクリーンアップしてください。

5.XMLサイトマップのベストプラクティスに従います

サイトマップは、重要なページをすべて検索クローラーと共有します。少なくともそうする必要があります。 検索エンジンはサイトマップをクロールして、ページを簡単に見つけます。 グーグルはあなたのページを見つけるためにそれを必要としないと言いますが、それでもそれを維持することは良い考えです。

うまく機能するには、サイトマップにインデックスを作成するページのみを含める必要があります。 インデックス付けされていない、またはリダイレクトされたURLをサイトマップから削除する必要があります。 これを行う簡単な方法は、動的に生成されたXMLサイトマップを使用することです。 動的に生成されたサイトマップは自動的に更新されるため、301を実装するたびにサイトマップを編集する必要はありません。

サイトに複数のサブディレクトリがある場合は、各サブディレクトリのサイトマップへのリンクを格納するサイトマップインデックスを使用します。 これは、Webサイトのアーキテクチャを紹介するのに役立ち、検索クローラーが従うための簡単なロードマップを提供します。

6.内部リンク戦略を作成する

内部リンクは、サイトの訪問者が移動するのに役立つだけではありません。 また、クローラーボットの移動経路がより明確になります。

十分に開発された内部リンク戦略により、クローラーをクロールするページに向けることができます。 クローラーはリンクを使用して他のページを見つけるため、より深いページをより高いレベルのコンテンツと相互リンクすると、クローラーがより迅速にそれらにアクセスできるようになります。 同時に、クロールバジェットに食い込ませたくない優先度の低いページからリンクを削除すると、リンクをキューの最後にプッシュして、重要なページが最初にクロールされるようにすることができます。

7.サイトエラーを修正する

サイトエラーは検索クローラーをトリップさせ、貴重なクロール予算を浪費する可能性があります。 理想的には、クローラーが実際のページに遭遇するか、そのページへの単一のリダイレクトに遭遇するようにします。 リダイレクトチェーンまたは404エラーページが発生している場合は、クロールの予算を無駄にしています。

Google検索コンソールのクロールレポートを使用して、クローラーでエラーが発生している場所とエラーの種類を特定します。 識別可能なエラーを修正すると、Googlebotのクロールエクスペリエンスがよりスムーズになります。

8.リンク切れを確認します

URLは基本的に、2つのページ間のブリッジです。 これは、検索エンジンクローラーに新しいページを見つけるための経路を提供しますが、一部のURLはどこにも行きません。 壊れたリンクは、検索エンジンクローラーの行き止まりであり、限られたクロール予算の浪費です。

時間をかけて、検索クローラーをデッドページに送信している可能性のある壊れたリンクがないかサイトを確認し、それらを修正または削除してください。 クロール予算の浪費を減らすことに加えて、壊れたリンクを削除することで訪問者のブラウジング体験を改善することになるので、定期的なリンクチェックを行うことは常に良い考えです。

SEO監査で無駄なクロール予算を止めましょう

サイトのクロール予算または一般的なSEOの最適化をどこから始めればよいかわからない、または圧倒されていると感じていますか？ 一人で行く必要はありません。 今日Victoriousとのコンサルテーションを予約し、SEO監査を実行し、サイトのSEOを最適化するための戦略を考案するプロセスを通じて専門家がお手伝いします。