Ein kleines! Lexikon des Internet Werbung

Robot, Crawler, Spider, Wanderer @ Ein kleines! Lexikon des Internet


Erklärung | Weiterführende Links | Finden | Navigation | Interessante Begriffe

Ansichten: Bildschirm   Druck   ohne

Robot

auch: Crawler, Web-Crawler

auch: Spider

auch: Wanderer

nennt man ein Programm, das einen Auftrag nach dem Initialisieren selbständig weiter ausführt.
So durchsuchen Robots der Suchmaschinen automatisch das Internet nach neuen Sites. Der Web-Designer hat durch Angaben von Meta-Tags die Möglichkeit, den Robots Angaben über seine Page, u. a. Inhalt, Autor, verwendete Sprache, mitzugeben (oder auch zu verweigern), die dann in die Datenbanken der Suchmaschinen eingetragen werden.

Weiterführende Links

{Bot Spot
 - http://www.BotSpot.com/
}
{robotstxt.org
 - http://www.robotstxt.org/
}