robots.txt

robots.txt ist eine Datei, die Crawler von Suchmaschinen darüber informiert, welche Websites oder Bereiche einer Internetpräsenz nicht in den Index aufgenommen werden sollen. Sie wird im Wurzelverzeichnis einer Website abgelegt, also dort, wo auch die Startseite (index.html) einer Internetpräsenz abgelegt ist.