Robots.txtの表記 - SEO対策 4

Robots.txtの表記

Robots.txtは検索エンジンロボットの巡回時に巡回を制御し、適切なクロールを行わせるためのものです。

（原文）http://www.robotstxt.org/

日本語によるわかりやすい解説→
http://www.tohoho-web.com/wwwxx079.htm
http://tech.bayashi.net/pdmemo/robots.html

robots.txtで全ての検索エンジンが制御できる訳ではありません。rpbots.txtは（いわば）行儀作法であり、行儀の悪い検索エンジンはこれを無視してクロールします。よって、セキュリティ対策としてはrobots.txtをあまり信頼しないように。（むしろここでDisallowとすることでディレクトリ構造がばれてしまう。）

不動産ホームページ