Googleの検索結果に出るためには、インデックスされなければなりませんが、
インデックスされるためには、Googleのロボットにクロールされる必要があります。
いくらSEO対策に力を入れても、ページの存在をGoogleに知ってもらえなければ
効果につながらないので、クロールされることはとても重要です。
自社のサイトはきちんとクロールされているのかな？
どのくらいのペースでクロールされてるのかしら？
気になりますよね。Search Consoleでクロールの頻度を確認してみましょう。
Search Consoleで確認する前に、検索の仕組みについて簡単に確認しておきましょう。
Googleは検索ロボット（クローラー）にウェブ上にあるページの情報を集めさせ（クロール）、
クローラーが集めた情報を検索エンジンのデータベースに登録（インデックス）しています。
検索結果はインデックスされたページの中から、評価の高い順に表示されます。
つまり、インデックスされるされない以前に、まずクロールされることが大切。
どこの会社のどんなサイトで、どういうコンテンツがあって何が書かれているのか、
タグに何と書かれているか、どんな画像があるのか、コードに何を書いているか‥‥
クローラーはリンクをたどってサイト内、そしてウェブ上にある様々な情報を収集します。
Search Consoleでクロールの統計情報を確認することができます。（旧Search Consoleでは見れません）
Search Consoleにログイン＞「設定」＞「クロールの統計情報」 レポートを開く
「クロール リクエストの合計数」 過去90日間のクロールの情報が表示されます。
どのくらいクロールされたのか、どのくらいの頻度なのかを確認することができます。
例えば上記では日によって波はあるものの、コンスタントにクロールされているのがうかがえます。
マウスを置くと日付ごとのデータを確認することもできます。
ちなみに1/16に①とマークがついていますが、こちらはGoogle側で行った
仕様変更について知らせるもののようなので気にしないで大丈夫です。
Search Consoleで確認して、ほとんどクロールされていない状態で横ばい、
以前はクロールされていたのに右肩下がりでクロールが減っている、という場合は
クロール頻度が上がるようにサイトの見直しを行いましょう。
クロール頻度を増やすために、できることをやっていきましょう。
◆サイトマップ（sitemap.xml）送信
サイトマップには2種類あり、１つはユーザー向けにコンテンツを一覧にしたもの。
もう1つはクローラー向けのXMLサイトマップです。
XMLサイトマップはサイト内に存在するページのURLがリストとして記述し、
Googleに送信することで、クロールしてほしいURLを伝える役割があります。
基本的にクローラーはリンクを介してページ間を移動するので、
特に公開して間もなくどこからもリンクされていない状態では
クローラーに来てもらいづらくなります。クローラーが来て初めて、
Googleにサイトの存在を知ってもらえるのでサイトマップ送信をしましょう。
◆サイトの更新を定期的に行う
ここでの更新とは単に「アップロードする」ことや「日付を変える」ことではなく、
「有益なコンテンツの追加や修正などを行う」という意味での更新を指します。
質の高いコンテンツを更新しているとクロール頻度は増えやすいですが、
反面、サイトの質が低いとみなされればクロールが減る可能性もあるので、
情報の薄いページを見直したり、更新頻度を改善していくといいですね。
クロール頻度が増えたからと言って、順位が上がるわけではありませんが、
インデックスされて正しく評価されるためにもクロールは重要です。
サイトの情報はできるだけ最新のものを集めていってほしいですし、
クローラーが1回のクロールで集められる数も限られているので、
コンスタントに、そしてできるだけ頻度高くクロールしてもらいたいですね。
サイトマップや更新などで、定期的にクロールしてもらうための環境を整え、
きちんとインデックスされるサイト運営をしていきましょう。
Search Consoleのクロールの統計情報では、他にも細かな項目が見られますが、
専門性の高いものも多いので、すべての指標が分からなくても大丈夫です。
まずはクロールリクエストの状況。毎日見る必要はないので時々確認してみてください。
クロールの統計情報レポートには、ウェブサイトの Google のクロール履歴に関する統計情報が表示されます。たとえば、リクエストの数、サーバーからのレスポンスのタイミングや内容、可用性に関する問題の有無などです。このレポートを使用すると、Google がサイトをクロールした際に配信に関する問題が検出されたかどうかを確認できます。
このレポートは上級ユーザー向けです。サイトのページ数が 1,000 未満の場合、このレポートを使用する必要はありません。また、このレベルのクロールに関する詳細情報についてご心配いただく必要もありません。
google Search Consoleヘルプ
