ist eine ASCII-Datei im Root Directory (dt.: Wurzelverzeichnis, Hauptverzeichnis) einer Domain.
Darin kann der Webmaster angeben, wie sich die Robots der Suchmaschinen zu verhalten haben. Sie können ganz, auf bestimmten Pages oder überhaupt nicht akzeptiert werden. Sogar eine Unterscheidung der einzelnen Robots ist möglich. Mit einfachen Befehlen werden die Regeln beschrieben. “User-agent: *” ist die Angabe für alle besuchenden Robots (an Stelle des Sterns kann der Namen eines Robots stehen), “Disallow” (dt.: ablehnen) verbietet ihnen einzelne Ordner zu indexieren.
Beispiel
User-agent: *
Disallow: /images/
Disallow: /download/
Disallow: /infos/
Weiterführende Links
{robotstxt.org} - http://www.robotstxt.org/