Invisible Web

Definition

Das Invisible Web (unsichtbares Web; auch: Deep Web, Dark Matter) besteht aus Inhalten, die von normalen Suchmaschinen nicht erfasst werden, wie:

• unverlinkte Seiten
• Seiten, deren Inhalte größtenteils aus Bild-, Audio- oder Videodateien bestehen
• Seiten, deren Inhalte größtenteils aus PDF´s, PostScripts, Zip-Archiven oder Flash bestehen
• Inhalte von relationalen Datenbanken
• Seiten mit Real-Time-Inhalten
• Dynamisch generierte Inhalte

Nicht immer sind es technische Hindernisse, die eine Aufnahme dieser Seiten in die Indizes der Suchmaschinen verhindern.

4 Typen von unsichtbaren Web-Inhalten

1. Opaque Web

Das Opaque Web ist ziemlich groß, seine Inhalte können aber leicht ins Visible Web übernommen werden. Es umfasst u.a. Seiten, auf die keine Links verweisen oder neue Seiten, die von den Crawlern der Suchmaschinen noch nicht gefunden wurden. Auch durch die begrenzte Anzahl der Suchergebnisse kann Webseiten unsichtbar machen.

2. Private Web

Das Private Web besteht aus passwortgeschützten Inhalten oder Seiten, die mit dem Robots Exclusion Protocol vor Indexierung durch Suchmaschinen geschützt werden.

3. Proprietary Web

Dieser Teil des Invisible Web besteht aus Seiten, die eine vorherige Registrierung verlangen oder kostenpflichtige Inhalte anbieten

4. Truly Invisible Web

Das Truly Invisible Web umfasst PDF-Dateien und andere Formate, die von den Suchmaschinen nicht indexiert werden können bzw. deren Indexierung zu aufwändig wäre. Auch relationale Datenbanken und dynamisch generierte Seiten zählen dazu.