Get Your Own Domain!　

http://domain.tatsuwo.org

robots.txt

ロボット型の検索エンジンが登場してからかなり経ちますが、現在では Googleのほぼ一人勝ちの様相を呈してきました。比較的動作も軽く、また、検索結果表示のアルゴリズムがかなり優秀で、それまでのロボット型の検索エンジンをすっかり駆逐してしまったのもうなずける話です。

また、キャッシュ機能を実装した事で、検索結果サイトの移転やサーバーダウン、はたまた閉鎖から情報を救い出せるようになったのも大きな原因だったのかも知れません。

ただ、こういった一見便利に思えるロボット型検索エンジンも、サイト運営者側から見れば、隠したいページも勝手に検索されてしまう危険性もある訳で、ロボット型検索エンジンへの登録の可否をサイト運営者が制御出来るようにする目的で、このrobots.txtは使われます。あ、拡張子からも分かりますが、中身は単なるテキストファイルです。

仕様上、この robots.txt はドメインのトップディレクトリに置かないと機能しませんので、一般的なプロバイダのホームページスペースでは使う事は出来ません。そういった場合は、META TAGへの記述で、htmlに毎回記述する必要があります。

robots.txtとMETA TAGでの制御の違い

robots.txt

Googleには検索を許し、他のロボッには許さないとか、このディレクトリは検索OKだけど他は許さないなど、かなり細かい制御が出来ます。とても便利なファイルなのですが、ドメインのトップディレクトリに置かないと機能しませんので、一般的なプロバイダスペースでは使えません。

META TAG

そのhtmlファイルに対するロボットのアクセス許可／不許可を制御出来ます。一般的なプロバイダでも使用可能ですが、全てのhtmlに記述しないといけないのが面倒ですね。

但し、robots.txtの記述を無視して、サイト内を根こそぎ検索する質の悪いロボットも世の中には存在しますので、あまり信頼性はないかも知れません。また、一般公開が前提のサイトであれば、こういった制御はそれほど必要のない機能かも知れません。