Google検索の仕組みの基本!クロールとインデックスされない恐怖を知っておかないと… | ブログマーケッターJUNICHI

クロールのプロセス

クローラーは、

1.過去にクロールした時にゲットしたWebページのリスト
2.Webサイトの所有者から提供された「サイトマップ」に含まれる情報
をもとに巡回を始めます。

クローラーが重点的に確認すること

クローラーは、一度訪れたことがあるサイト、サイトマップが提供されているサイトを訪れて、そこから他のページへのリンクを探します。
その中でも重点的に確認するのが

新しいサイトの情報
今あるWEBサイトの変更点
無効なリンク
です。

クロールの頻度を上げることが大事

クロールを沢山してもらった方が、より正確な情報、より最新の情報を持って帰ってもらえます。

その結果、質の高い記事・コンテンツが正確に評価されて、検索結果の上位をねらいやすくなると言われています。

だから、頻繁にクローラーに呼び込む事は、WEBサイトを運営する人にとっては、大きな目標の一つだと思った方がいいです。

インデックスとは?
インデックスとは、検索エンジンに記録されたWEBサイトの情報という意味。

あなたのサイトがインデックスされているかどうか調べる方法

Googleの検索窓に「site:あなたのサイトのドメイン」と入力してみてください。
例えば、僕のブログであれば「site:junichi-manga.com」だ。(※http://は必要ない。)

もしもインデックスされていない場合の対処法

Googleの巡回ロボット(クローラー)にあなたのサイトに来てもらう必要があります。
そのために2通りの方法を紹介します。

※どちらも、「Search Console(旧Googleウェブマスターツール)」への無料登録が必要になる。

Search Console(旧 Googleウェブマスターツール)の登録方法

1)GoogleにURLを追加する
⇒https://www.google.com/webmasters/tools/submit-url

GoogleウェブマスターツールのURL登録フォームに、あなたのWEBサイトのトップページのURLを入力して送信する。

URLの登録
手順①あなたのサイトのURLを入力
手順②画面に見えているちょっと読みづらい文字(テキスト)を入力
手順③「リクエストを送信」をクリック
これでうまくリクエストが送信できると、例のクローラーロボットがあなたのサイトにやってくる。

2)GoogleにXMLサイトマップを送信する

XMLサイトマップとは、あなたのWEBサイトの設計図の事。

XMLサイトマップをGoogleに送信して登録することで、検索エンジンにWEBサイトの構成を把握してもらう事が出来ます。

そして、クローラーロボットも巡回するようになり、インデックスに記録されることになります。

Search ConsoleでXMLサイトマップを送信する方法

手順1:WordPressを使っている場合、プラグインの「Google XML Sitemaps」をインストールして有効化しておく。

手順2:Search Consoleの「ダッシュボード」から赤枠の「サイトマップ」をクリック

サイトマップ1
③右上の「サイトマップの追加/テスト」をクリックサイトマップ2

④「sitemap.xml」と入力し、「サイトマップを送信」をクリック
サイトマップ3

これで正常にサイトマップが送信できればOK!

検索順位のつけ方

Googleはどうやって、検索ユーザーが本当に求めているページがどれか判断しているのでしょうか。

実は、Googleでは、200以上の「問い」を立てて、そこから判断しているんです。

200以上の問いの例

キーワードがそのページに何回含まれているか
そのキーワードはタイトルに現れているか?それともURLか?
キーワード同士隣接して現れるか
キーワードの類義語が含まれているか
そのページを所有するウェブサイトの品質は高いか、低いか、スパムか
など。

最終的に、これら200以上の要因を組み合わせて、各ページの総合得点を算出して、検索結果としてユーザーに提供する。

以下に、Googleのサイトからの引用をのせておきます。

「犬」を検索する場合、必要なのは「犬」という単語が何百回も出現するページではありません。
おそらく求められているのは、写真や動画、または犬の種類の一覧表などでしょう。

そう、結局は検索ユーザーが「おそらく求めている」情報を提供することしかできません。

1000人の検索ユーザーを全員100%満足させる検索結果を表示することってかなり難しいと思います。

Googleのインデックスのシステムは、そのWebページが公開された時期や、写真や動画の有無、などなど、本当に色んな特性に着目しています。

さらに、ナレッジグラフと呼ばれるシステムまで登場しています。
これは凄いので是非一回見てみて下さい。

参考サイト:クロールとインデックス(Google公式サイト)

情報源: Google検索の仕組みの基本!クロールとインデックスされない恐怖を知っておかないと… | ブログマーケッターJUNICHI