 |
|
|
|
|
 |
|
|||
 |
 |
 |
|
|
|
| このページをソーシャルブックマークしてみんなに紹介する！ --> |  |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
robots.txt でクローラーの動きをコントロールする
robots.txt を置くことで検索エンジンのインデックスに特定のページを登録されないようにしたり、サイトマップファイルをクローラーに教えてあげることが出来ます。
robots.txt 自体は拡張子から分かるとおり単なるテキストファイルなので、誰でも見ることが出来ますので、隠しページなどに使うと却ってみんなにばれてしまいます。
あくまでも検索エンジンのクローラーをコントロールするためだけに使用します。但し、必ず robots.txt に従うとは限りませんので、その点はご承知おき下さい。
１．robots.txt の記述方法
以下のように記述し、ファイル名を「robots.txt」で保存します。
- User-agent: *
- Sitemap: http://www.kanaya440.com/sitemap.xml
- Disallow: /figure/
User-agent
対象の検索ロボットを指定します。
全てのロボットを対象にする場合は * （アスタリスク）にします。
特定のロボットだけを対象にする場合はロボット名を記述します。
例）User-agent: Googlebot
ロボット名は Database of Web Robots, Overview を参照して下さい。
Sitemap
サイトマップファイルがある場合はフルパスで指定します。
※ サイトマップページではなく、検索エンジン用の XML ファイルです。
「サイトマップメーカー Pro」で作成することが出来ます。
Disallow
インデックスしてほしくないページを指定します。
上記例の「Disallow: /figure/」は「figure」フォルダ以下全てを禁止する指定になります。
「Disallow: /figure/index.html」とすると、そのページのみ禁止する指定になります。
改行で複数指定することが出来ます。
２．robots.txt の置き場所
必ずルートディレクトリに置きます。
ルートディレクトリというのはトップページと同じ場所になります。
このサイトで言うと「http://www.kanaya440.com/robots.txt」になります。
クローラ とは？
主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用される。近年では電子メールアドレス収集業者などもクローラを利用して、迷惑メールの送信効率を上げている。
一般にクローラは、既知のHTML文書の新しいコピーを要求し、文書中に含まれるリンクをたどり別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録する。また、既知のファイルが存在しないことを検出した場合はデータベースから削除する。
悪質な物では一つのウェブサイト/サーバに対して非常に短い間隔で大量のリクエストを行いサーバに過度の負荷をかける物や、robots.txtやHTMLのMETAエンティティによるロボットに対しての制御を無視したり、無視せずも読み込む頻度が低いもの、さらにはWebサイト側が強制的に特定のクローラを排除する際に用いられるHTTPのUser-Agentフィールドの内容を次々に変えるなどする“行儀の悪い”クローラがあり問題となる場合がある。
