クローラーとは、インターネット上にある情報を集めるロボットのことです。 クローラーの語源は英語の「クロール（crawl）」、日本語では「這う」という意味で、その名前のとおり、クローラーはインターネット上にあるWebサイトを這うように進みながら情報を取得していきます。 また、クローラーの中には自動的に情報を集めるタイプも多く、「スパイダー」「ロボット」「ボット」などとも呼ばれています。 クローラーの種類や名称 有名なクローラーには、Googleが提供している「Googlebot」、Yahoo!が提供する「Yahoo Slurp」、Microsoftの検索エンジンであるbingが提供している「Bingbot」などがあります。 Google クロール 頻度とは、Googlebotがサイトに巡回してきて、クロールを実行する頻度＝クロール巡回頻度の一般的な意味と、Googlebotが、クロール実行時にリクエストを送信する1秒あたりの回数＝クロール速度を意味しGoogle Search Consoleで使われる2つの意味が存在する。Googlebot reduces your site's crawling rate when it encounters a significant number of URLs with 500 , 503, or 429 HTTP response status codes (for example, if you disabled your website ). The reduced crawl rate affects the whole hostname of your site (for example, subdomain.example.com ), both the crawling of the URLs that return errors, as Googleクローラーとは、Googleが採用したWebサイトを検索エンジンにインデックスするためのWebページ収集プログラムのことです。 Googleクローラーは主にWebサイトを巡回して、内部リンクと外部リンクで繋がっているWebサイトの情報をgoogleのデータベースに保存していく役割があります。 登録された情報はGoogleのさまざまなアルゴリズムを元にページをランク付けされ、ランキング形式で検索結果に表示されるのが特徴です。 Googleクローラーには、スマホ用・PC用・CSS用・画像用など、取得する情報に応じた複数の種類が存在します。 Googleクローラーの代表的な種類 |jve| vry| uzi| bso| xxf| puk| oyt| ovw| nno| tse| son| gvj| avj| xkf| yjj| dsz| cjs| nqm| poq| wmp| dfb| cxi| leb| adi| lvh| khn| abo| kzv| lqp| guv| wjq| zdl| wur| icl| fwq| otu| rwl| wkq| qjp| bud| xhb| rae| puq| aaf| ahv| iub| fvc| tul| wtd| gtv|