Robots.txt

Robots.txt は通常、ウェブサイトのルートに配置されているファイルです。このファイルは、クローラー からウェブサイトへのアクセスを許可するか、禁止するかを決定します。

例えば、サイト管理者はクローラーが特定のフォルダー（とそこに含まれるすべてのファイル）にアクセスしたり、特定ファイルをクロールするのを禁止でき、通常はこれらのファイルが他の検索エンジンによってインデックスされることを防ぐために使われます。