アクセスアップ

Googleクローラーの巡回からインデックス、ランキングまでの流れ

更新日:

 

GoogleBot(グーグルボット)Webをクロールする自動巡回ロボットのことで通称クローラーと呼ばれてます。

クローラにより集められた情報はデータベースに蓄積され検索画面にランキング形式で表示される

Webページは単独ではなくリンクで繋がってます。そのリンクを伝ってクローラーが高速で移動してページの情報を収集しているのです。

文字情報だけではなく速度やリンク他サイト構造など、ありとあらゆる情報を収集してユーザに有益な情報を探ります。

集めた情報はデータベースに蓄積されます。
この状態をインデックスと呼びます。

そして、あなたが検索画面にうちこんだキーワードはデータベースから引き出され検索画面にランキング形式で表示されます。

インデックスされた情報はランキング分け

表示された検索結果は200以上のGoogleのアルゴリズムにより、前回の記事で紹介したような低品質記事を振り分け、役立つコンテンツを上位にランキングします。

なぜか?Googleも商売なのです、どうでもいい記事を上位に持ってきたら信用問題。だれも検索しなくなります。

スパイダーは糸がきれると動けない

最初に書きましたがクローラーはWebに張り巡らされたリンクという糸を伝ってあなたのサイトにやってきます。そのためスパイダーなんて呼ばれることもあります。

当然リンクを伝って移動してるわけですからリンク切れがあると困っちゃいますよね。リンクがまったくないとたどる事さえできなくなります。そのためページリンクは重要といえるわけです。

クローラーの動きでサイトの状況を知る

定期的に更新することで、順調にサイト運営ができている場合。Googlebotは高頻度でサイトを訪れます。

逆にサイトに問題があったり、Googleに重要でないサイトと認識された場合にはクロール頻度はおちる傾向があります。

ダッシュボード▶クロール▶クロールの統計情報

3つのグラフで視覚的に確認できます。

1日あたりのクロールされたページ数

グラフが上昇傾向なら問題なし。下降気味なら以下の原因が考えられます。

  1. クロールエラーが発生している
  2. ページのダウンロード時間の上昇(サーバー異常)

1日にダウンロードされるキロバイト数

最初のグラフと比例して増減する。

ページのダウンロード時間(ミリ秒)

クローラーがページをダウンロードするのに要した平均時間。ダウンロード時間が増えてきたり(グラフが高くなる)したらよくありません。

ダウンロード時間が長くなると多くのページを巡回できず、クローラーが離脱する原因になります。訪問ユーザにも「表示が重い」と感じさせてしまいます。

  1. サーバーの不調
  2. コンテンツ量の増加で通信に時間がかかる

以上の原因が考えらます、サイトを高速化しましょう。

クローラーの種類

画像:Googlebot-Image
モバイル:Googlebot-Mobile

など他にも専用クローラーが動き回ってます。
海外Yahooやマイクロソフト、中国にも独自のクローラーがあります。アドセンスも専用クローラーでした。

国内の検索エンジンはほぼGoogleがしめてますので対策はGoogleだけで問題ありません。

クローラビリティを上げる

記事を更新してもすぐにクローラーがきてインデックスするわけはありません。彼らも忙しいのです。

パンくずリストを設置したり、外部サイトのリンク他
サーチコンソールを使ってサイトマップを送ったりしてクローラビリティを上げておきましょう。

サーチコンソールのFetch as Googleを使う事でクローラーを呼ぶことも可能です。これはまた別記事にて紹介しましょう。

こちらからアクションできるのは他にはnoindexもあります。

リンクを確認する方法

「でもどれだけリンクされてるかわからない」というあなたはサーチコンソールにログインしてください。

検索トラフィックからサイトへのリンクをクリックすると見ることができます。詳しい見方はバズ部さんの

サイトへのリンクを確認してスパム被リンクを発見する方法

が分かりやすいと思います。

クロールはGoogle検索の仕組みを一読ください。

編集後記

普段なにげに使っている検索ですが、裏ではかなり忙しくスパイダーが動き回ってます。

今回は僕ではまとめることが出来なかったのでバズ部さんの記事にリンクを張ってます。サーチコンソールにて自分のサイトにどれだけリンクがついているか確認してみてください。

きっと思った以上にクモの巣だらけだと思いますよ。

NAGOでした See you

  • この記事を書いた人

nago

このサイトの管理人はブログ歴だけは長い普通の会社員です。今回はてなからワードプレスに戻ってきました。思っていた通りここは静かすぎる世界でした。

-アクセスアップ

Copyright© NAGOLOG , 2018 All Rights Reserved.