Crawler
Zur Navigation springen
Zur Suche springen
Crawlers (auch: Robots) haben die Aufgabe, die Inhalte des WWW automatisch und systematisch zu erfassen. Sie stellen das Material bereit, das über Suchmaschinen durchsucht werden kann (vgl. Suchmaschinen im Web).
Links
Der Suchmaschinendoktor: http://www.suchmaschinen-doktor.de/optimierung/robots-crawler.html