Crawler

Crawlers (auch: Robots) haben die Aufgabe, die Inhalte des WWW automatisch und systematisch zu erfassen. Sie stellen das Material bereit, das über Suchmaschinen durchsucht werden kann (vgl. Suchmaschinen im Web).

Links

Der Suchmaschinendoktor: http://www.suchmaschinen-doktor.de/optimierung/robots-crawler.html

Verwandte Begriffe

• Suchmaschine
• WWW-Server
• Information Retrieval