クロールのプロセス
クローラーは、
1．過去にクロールした時にゲットしたWebページのリスト
2．Webサイトの所有者から提供された「サイトマップ」に含まれる情報
をもとに巡回を始めます。…
クローラーが重点的に確認すること
クローラーは、一度訪れたことがあるサイト、サイトマップが提供されているサイトを訪れて、そこから他のページへのリンクを探します。
その中でも重点的に確認するのが新しいサイトの情報
今あるWEBサイトの変更点
無効なリンク
です。…
クロールの頻度を上げることが大事
クロールを沢山してもらった方が、より正確な情報、より最新の情報を持って帰ってもらえます。
その結果、質の高い記事・コンテンツが正確に評価されて、検索結果の上位をねらいやすくなると言われています。
だから、頻繁にクローラーに呼び込む事は、WEBサイトを運営する人にとっては、大きな目標の一つだと思った方がいいです。
…
インデックスとは？
インデックスとは、検索エンジンに記録されたWEBサイトの情報という意味。…
あなたのサイトがインデックスされているかどうか調べる方法
Googleの検索窓に「site:あなたのサイトのドメイン」と入力してみてください。
例えば、僕のブログであれば「site:junichi-manga.com」だ。（※http://は必要ない。）もしもインデックスされていない場合の対処法
Googleの巡回ロボット（クローラー）にあなたのサイトに来てもらう必要があります。
そのために2通りの方法を紹介します。※どちらも、「Search Console（旧Googleウェブマスターツール）」への無料登録が必要になる。
Search Console（旧 Googleウェブマスターツール）の登録方法
…１）GoogleにURLを追加する
⇒https://www.google.com/webmasters/tools/submit-urlGoogleウェブマスターツールのURL登録フォームに、あなたのWEBサイトのトップページのURLを入力して送信する。
URLの登録
手順①あなたのサイトのURLを入力
手順②画面に見えているちょっと読みづらい文字（テキスト）を入力
手順③「リクエストを送信」をクリック
これでうまくリクエストが送信できると、例のクローラーロボットがあなたのサイトにやってくる。２）GoogleにXMLサイトマップを送信する
XMLサイトマップとは、あなたのWEBサイトの設計図の事。
XMLサイトマップをGoogleに送信して登録することで、検索エンジンにWEBサイトの構成を把握してもらう事が出来ます。
そして、クローラーロボットも巡回するようになり、インデックスに記録されることになります。
Search ConsoleでXMLサイトマップを送信する方法
手順１：WordPressを使っている場合、プラグインの「Google XML Sitemaps」をインストールして有効化しておく。
手順２：Search Consoleの「ダッシュボード」から赤枠の「サイトマップ」をクリック
サイトマップ１
③右上の「サイトマップの追加/テスト」をクリックサイトマップ2④「sitemap.xml」と入力し、「サイトマップを送信」をクリック
サイトマップ３これで正常にサイトマップが送信できればOK！
…
検索順位のつけ方
Googleはどうやって、検索ユーザーが本当に求めているページがどれか判断しているのでしょうか。
実は、Googleでは、200以上の「問い」を立てて、そこから判断しているんです。
200以上の問いの例
キーワードがそのページに何回含まれているか
そのキーワードはタイトルに現れているか？それともURLか？
キーワード同士隣接して現れるか
キーワードの類義語が含まれているか
そのページを所有するウェブサイトの品質は高いか、低いか、スパムか
など。最終的に、これら200以上の要因を組み合わせて、各ページの総合得点を算出して、検索結果としてユーザーに提供する。
…
以下に、Googleのサイトからの引用をのせておきます。
「犬」を検索する場合、必要なのは「犬」という単語が何百回も出現するページではありません。
おそらく求められているのは、写真や動画、または犬の種類の一覧表などでしょう。そう、結局は検索ユーザーが「おそらく求めている」情報を提供することしかできません。
1000人の検索ユーザーを全員100％満足させる検索結果を表示することってかなり難しいと思います。
…
Googleのインデックスのシステムは、そのWebページが公開された時期や、写真や動画の有無、などなど、本当に色んな特性に着目しています。
さらに、ナレッジグラフと呼ばれるシステムまで登場しています。
これは凄いので是非一回見てみて下さい。
…
参考サイト：クロールとインデックス（Google公式サイト）
情報源: Google検索の仕組みの基本！クロールとインデックスされない恐怖を知っておかないと… | ブログマーケッターJUNICHI