どのページやディレクトリにインデックスを付けるかどうかを指示する、またはWebボットに指示するためのファイル。 このファイルは、ページをホストしているサーバーのルートディレクトリに配置する必要があります。 ファイル名はrobots.txtで 、読み取り権限が必要です。 以下はrobots.txtファイルの例です。

 //www.computerhope.comUser-agentの＃robots.txtファイル：*許可しない：/ directory1 / 
許可しない：/ directory2 /

上記のrobots.txtの例では、最初の行はファイルを説明する実行不可能なステートメントです。 次に、 User-agent行は、ファイルのこのセクションにどのロボットまたはボットが従うべきかを指示します。 上記の例では、*はすべてのボットを表します。 最後の2行は、ボットがインデックスを作成しないようにする2つのディレクトリです。

ボットがあなたのウェブサイトのすべてのURLを照会することを許可したい場合は、ボットの名前に続けてdisallow：を入力してください。

 ユーザーエージェント：Somebot *
許可しない： 

インターネット用語、メタタグ、ロボット、SEO用語、サイトマップ、Webデザイン用語