Information Retrieval: Unterschied zwischen den Versionen
| (112 dazwischenliegende Versionen von 5 Benutzern werden nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
| − | '' | + | [[definition::''Mit Information Retrieval bezeichnet man Methoden und Verfahren, die der Aufbereitung und Speicherung von 'verdatetem' Wissen und der Gewinnung von Informationen dienen'']]. (Luckhardt 2001) |
| − | + | Im Gegensatz zu der Bezeichnung "Information Retrieval" beinhaltet die genannte Definition neben dem Wiederfinden auch die Aufbereitung und Speicherung von Wissen. | |
| − | |||
| − | |||
| − | Im Gegensatz | ||
=Probleme= | =Probleme= | ||
| − | Der folgende Abschnitt befasst sich mit allgemeinen Problemen die beim Information Retrieval auftreten. | + | Der folgende Abschnitt befasst sich mit allgemeinen Problemen, die beim Information Retrieval auftreten. |
==Charakteristika des Gebietes== | ==Charakteristika des Gebietes== | ||
* Vage Anfragen | * Vage Anfragen | ||
| − | :Die von den Nutzern formulierten Anfragen sind oft sehr ungenau formuliert, nicht unbedingt aus Unerfahrenheit oder Unwissenheit sondern weil | + | :Die von den Nutzern formulierten Anfragen sind oft sehr ungenau formuliert, nicht unbedingt aus Unerfahrenheit oder Unwissenheit, sondern weil sie noch gar keine klare Vorstellung von der Antwort haben, nach der sie eigentlich suchen. |
* Unsicheres Wissen | * Unsicheres Wissen | ||
| Zeile 17: | Zeile 14: | ||
==Probleme bei der Suche nach Information== | ==Probleme bei der Suche nach Information== | ||
| − | *Die nahezu unüberschaubare '''Größe''' des Web und seine '''Dynamik''' | + | |
| − | *Die '''Heterogenität''' der Dokumente im WWW bietet einerseits eine große Vielfalt, erschwert aber auch die Auswahl. Außerdem gibt es keinerlei Qualitätskontrolle ob ein Text von einem Laien oder einem Wissenschaftler verfasst wurde, muss man selbst herausfinden. | + | *Die nahezu unüberschaubare '''Größe''' des Web und seine '''Dynamik''' führen immer wieder zu Problemen für den Nutzer; es werden permanent Änderungen vorgenommen, die keiner zentralen Verwaltung unterliegen. |
| − | *Die '''weltweite Verteilung''' | + | |
| − | *Die '''fehlende Organisation und Struktur''' des WWW erschwert die Suche | + | *Die '''Heterogenität''' der Dokumente im WWW bietet einerseits eine große Vielfalt, erschwert aber andererseits auch die Auswahl. Außerdem gibt es keinerlei Qualitätskontrolle; ob ein Text von einem Laien oder einem Wissenschaftler verfasst wurde, muss man selbst herausfinden. |
| − | *Da es neben öffentlichen und gemeinnützigen auch kommerzielle Anbieter im Internet gibt, kommt es zu einer großen '''Konkurrenz''' | + | |
| − | *Unter dem Stichwort '''deep oder invisible Web''' versteht man die vielen | + | *Die '''weltweite Verteilung''' sorgt vor allem für Sprachbarrieren und Übersetzungsprobleme, aber auch kulturelle Unterschiede spielen eine Rolle. |
| − | *Der Versuch eines Autors seine Seite im Ranking einer Suchmaschine besser zu platzieren heißt '''Spamming'''. Dies kann man zum Beispiel durch eine Mehrfachnennung von Schlüsselbegriffen in Bereichen des Dokuments | + | |
| + | *Die '''fehlende Organisation und Struktur''' des WWW erschwert die Suche. Zwar gibt es zahlreiche Suchmaschinen, die die Nutzer bei ihrer Suche unterstützen, dennoch bleiben zahlreiche Gegenden im WWW "unentdeckt". Verstärkt wird dies noch durch die [[Hypertext]]struktur, die keinen klaren Weg druch das WWW vorgibt. | ||
| + | |||
| + | *Da es neben öffentlichen und gemeinnützigen auch kommerzielle Anbieter im Internet gibt, kommt es zu einer großen '''Konkurrenz'''. Der Nutzer muss genau prüfen, wer der Anbieter/Verfasser der verwendeten Dokumente ist und ob er tatsächlich objektiv ist. | ||
| + | |||
| + | *Unter dem Stichwort '''deep''' oder '''invisible Web''' versteht man die vielen Teile des Internets, die unentdeckt bleiben und nicht einmal von Suchmaschinen gefunden werden, obwohl sie nützliche Informationen enthalten könnten. Suchdienste gewinnen ihre Daten in der Regel durch maschinelle Indexierung und sind somit auf textuelle Informationen angewiesen. Das Internet hat sich jedoch zunehmend zu einem multimedialen Informationssystem entwickelt, daher bleiben Multimedia-Elemente oder Dateien, die nicht im HTML oder txt-Format vorliegen, wenn sie nicht mit textuellen Erläuterungen versehen werden, für die Suchdienste unauffindbar. | ||
| + | |||
| + | *Der Versuch eines Autors seine Seite im Ranking einer Suchmaschine besser zu platzieren heißt '''Spamming'''. Dies kann man zum Beispiel durch eine Mehrfachnennung von Schlüsselbegriffen in Bereichen des Dokuments, welche für den Benutzer unsichtbar bleiben (z.B. in Kommentarzeilen des Quelltextes) bewerkstelligen, bzw. durch "Verstecken" von Begriffen im lesbaren Teil einer Webseite (z.B. durch Wahl eines Schriftgrads, der so klein ist, dass das menschliche Auge ihn nicht wahrnehmen kann). | ||
=Struktur eines IR-Systems= | =Struktur eines IR-Systems= | ||
| − | == | + | |
| + | [[Bild:Struktur des IR.png]] | ||
| + | |||
| + | Wie die Grafik zeigt, ist ein solches IR-System recht einfach aufgebaut. Auf der einen Seite stehen die Anfragen der Nutzer und deren entsprechende Repräsentation. Ihnen gegenüber befinden sich die in der Datenbank enthaltenen Dokumente und ihre entsprechende Repräsentation. | ||
| + | |||
| + | Im nächsten Schritt (Matching) versucht das System Übereinstimmungen zwischen beiden Seiten zu finden und zeigt schließlich das Ergebnis an. Die verschiedenen technischen Möglichkeiten des Matching werden im Kapitel zu den [[Information Retrieval#Verschiedene Retrieval-Modelle|verschiedenen Retrieval-Modellen]] beschrieben. | ||
| + | |||
| + | Sehr wichtig ist schließlich die Rückkopplung: der Nutzer vergleicht das ihm gelieferte Ergebnis mit seiner Anfrage und den damit verbundenen Erwartungen. Werden diese erfüllt, ist die Recherche beendet und der Nutzer hat ein für ihn zufriedenstellendes Ergebnis erhalten. Ist das Gegenteil der Fall wird er eine neue Suche, möglicherweise mit anderen Suchtermen oder in einer anderen Datenbank/Suchmaschine, beginnen. | ||
| + | |||
| + | ==Aspekte eines Information Retrieval Modells== | ||
| + | Information Retrieval Modelle müssen also folglich drei Aspekte abdecken: | ||
| + | * Die Repräsentation der in der Datenbank enthaltenen Dokumente. | ||
| + | * Die Repräsentation der vom Nutzer formulierten Anfragen. | ||
| + | * Die Verknüpfung der beiden erstgenannten Punkte in Form eines für den Nutzer zufrieden stellendes Ergebnisses. | ||
| + | |||
==Vier Schritte einer Recherche== | ==Vier Schritte einer Recherche== | ||
| + | Aus dieser Grafik lassen sich nach Kind vier Schritte einer Recherche ableiten: | ||
*Präzision der Suchanfrage | *Präzision der Suchanfrage | ||
*Auswahl der Datenbank | *Auswahl der Datenbank | ||
| Zeile 33: | Zeile 52: | ||
*Suchergebnis aufarbeiten | *Suchergebnis aufarbeiten | ||
| − | Im ersten Schritt überlegt sich der Nutzer genau, welche Art von Informationen er sucht, d.h. er fragt sich, ob er Texte oder Bilder, Daten oder Referenzen für die Lösung eines sich ihm | + | Im ersten Schritt überlegt sich der Nutzer genau, welche Art von Informationen er sucht, d.h. er fragt sich, ob er Texte oder Bilder, Daten oder Referenzen für die Lösung eines sich ihm stellenden Problems benötigt. |
| − | Diese Präzisierung beeinflusst dann auch die Auswahl der | + | Diese Präzisierung beeinflusst dann auch die Auswahl der Datenbank, was üblicherweise den zweiten Schritt einer Recherche darstellt. |
| − | Im folgenden Schritt, | + | Im folgenden Schritt, nachdem die geeignete Datenbank gefunden wurde, geht es darum, eine möglichst genaue Suchanfrage zu formulieren um ein bestmögliches Ergebnis zu erzielen. Welche Möglichkeiten dem Nutzer genau zur Verfügung stehen wird im Artikel [[Suchoperatoren|Suchoperatoren]] ausführlich behandelt. |
| − | Die Aufarbeitung des Suchergebnisses, die Analyse der von der Datenbank oder der Suchmaschine gelieferten Resultate, | + | Die Aufarbeitung des Suchergebnisses, die Analyse der von der Datenbank oder der Suchmaschine gelieferten Resultate, stellt den letzten Schritt einer Recherche dar. Zwei Szenarien sind denkbar: entweder die erste Suche liefert ein zufrieden stellendes Ergebnis und der Nutzer kann die Recherche beenden. Oder die Resultate entsprechen nicht den Erwartungen. In diesem zweiten Fall muss der Nutzer eine neue Suchanfrage stellen und beispielsweise andere [[Deskriptoren]] oder eine andere Suchmaschine verwenden. |
=Speicherung von Daten= | =Speicherung von Daten= | ||
| − | Man unterscheidet zwei Gruppen von Personen, die an einem Information Retrieval System beteiligt sind: die, die Informationen zur Verfügung stellen, also Anbieter von Datenbanken oder Wissenschaftler und die, die eine Aufgabe lösen wollen und dafür Informationen benötigen. | + | Man unterscheidet zwei Gruppen von Personen, die an einem Information Retrieval System beteiligt sind: die, die Informationen zur Verfügung stellen, also Anbieter von Datenbanken oder Wissenschaftler, und die, die eine Aufgabe lösen wollen und dafür Informationen benötigen. |
| − | + | Es steht eine große Anzahl von Datenbanken zur Verfügung, je nach Art der angebotenen Dokumente entscheidet sich der Anbieter für die Datenbank, in die er seine Informationen einbetten möchte, und die Art der gesuchten Dokumente beeinflusst selbstverständlich auch die Wahl des suchenden Nutzers. | |
==Verschiedene Arten von Datenbanken== | ==Verschiedene Arten von Datenbanken== | ||
| − | Zunächst ist eine Unterscheidung nach Text-, | + | Zunächst ist eine Unterscheidung nach Text-, Fakten- oder Bilddatenbanken sinnvoll. Textdatenbanken enthalten Dokumente der geschriebenen Sprache, Faktendatenbanken gruppieren Daten und in Bilddatenbanken findet man Bildmaterialien aller Art. |
| + | |||
| + | Im Bereich Textdatenbanken können Daten in Referenz- oder in Volltextdatenbanken gespeichert werden. Letztere enthalten vollständige Texte und der Nutzer kann sich den ganzen Text anschauen. Referenzdatenbanken hingegen enthalten lediglich Hinweise auf Orginaltexte. Beispiele für diese Art Datenbanken sind bibliographische Datenbanken (sie enthalten Literaturhinweise), Firmendatenbanken (Beschäftigungszahlen oder der Umsatz einer Firma in einem bestimmten Zeitraum) oder Expertendatenbanken (Recherche nach Fachleuten in bestimmten Bereichen). | ||
| − | + | In Volltextdatenbanken hingegen sind ganze Texte gespeichert, evtl. auch mit Bildern. | |
Statistische und juristische Datenbanken sind Beispiele für die oben genannte dritte Kategorie von Textdatenbanken, die Faktendatenbanken. Diese sammeln vor allem Zahlen und Statistiken. | Statistische und juristische Datenbanken sind Beispiele für die oben genannte dritte Kategorie von Textdatenbanken, die Faktendatenbanken. Diese sammeln vor allem Zahlen und Statistiken. | ||
| + | |||
| + | Eine Datenbank der Datenbanken, z.B. die [http://library.dialog.com/bluesheets/html/bl0230.html Gale Directory of Databases] kann bei der Auswahl der richtigen Datenbank sehr hilfreich sein. | ||
=Aufbereitung von Information= | =Aufbereitung von Information= | ||
| − | Damit Nutzer Texte in Datenbanken wiederfinden können, müssen diese zunächst aufbereitet werden, d.h. man ordnet den Texten so genannte [[Deskriptoren]] | + | Damit Nutzer Texte in Datenbanken wiederfinden können, müssen diese zunächst aufbereitet werden, d.h. man ordnet den Texten durch [[Indexierung]] so genannte [[Deskriptoren]], also Begriffe, die den Inhalt des Texts genauer beschreiben, zu und ordnet diese in so genannten [[Klassifikationen]] oder [[Thesaurus|Thesauri]]. |
=Information Retrieval Modelle= | =Information Retrieval Modelle= | ||
| + | |||
==Vorbemerkungen== | ==Vorbemerkungen== | ||
| + | |||
Bei der inhaltsorientierten Suche unterscheidet man zunächst drei Abstraktionsebenen: | Bei der inhaltsorientierten Suche unterscheidet man zunächst drei Abstraktionsebenen: | ||
*[[Syntax]]: Das Dokument wird lediglich als Folge von Symbolen betrachtet. | *[[Syntax]]: Das Dokument wird lediglich als Folge von Symbolen betrachtet. | ||
| Zeile 64: | Zeile 89: | ||
*Pragmatik: Die Nutzung des Dokumentes erfolgt nur für einen bestimmten Zweck, das Oberthema muss bei allen gefundenen Dokumenten gleich sein, der genaue Inhalt kann aber variieren. | *Pragmatik: Die Nutzung des Dokumentes erfolgt nur für einen bestimmten Zweck, das Oberthema muss bei allen gefundenen Dokumenten gleich sein, der genaue Inhalt kann aber variieren. | ||
| − | == | + | Allgemein unterscheidet man Exact-Match-Paradigma und Partial-Match-Paradigma. Ersteres Paradigma liefert nur 100%ige Treffer während die partial-Methode eine Sortierung von relevant bis weniger relevant vornimmt. |
| − | + | ||
| − | + | ==Verschiedene Retrieval-Modelle== | |
| − | + | Im folgenden Kapitel wird auf verschiedene Retrieval-Modelle eingegangen, dabei geht es vor allem um ein generelles Verständnis des jeweiligen Modells. Der Schwerpunkt liegt auf dem mengentheoretischen Modell, da es zu den am weitesten verbreiteten gehören. | |
| − | + | ||
| + | ==Mengentheoretische Modelle== | ||
| + | |||
| + | ===Boole’sche Logik=== | ||
| + | |||
| + | Die Boole'sche Logik geht auf eine Theorie des englischen Mathematikers und Logikers George Boole (1815-64) zurück. Bei ihr handelt es sich um eine mächtige Retrievalsprache, die es ermöglicht, beliebige Mengen aus einer Dokumentenkollektion zu selektieren und miteinander zu verknüpfen. | ||
| + | Dies geschieht mit so genannten [[Suchoperatoren]]. | ||
| + | |||
| + | ===Vor- und Nachteile der Boole'schen Logik=== | ||
| + | Die Vorteile der Boole'schen Logik liegen vor allem in der unkomplizierten Infrastruktur und im einfachen Implementieren der Operatoren. | ||
| + | |||
| + | Ein großer Nachteil hingegen ist, dass die Ergebnisse nicht gerankt sind, also in beliebiger Reihenfolge erscheinen und es ganz allein am Nutzer liegt das Ergebnis auszuwerten. Außerdem ist das Formulieren der Anfrage sehr aufwendig und man kann nicht voraussehen, wie umfangreich das Resultat der Recherche sein wird. Es auch unmöglich, das unterschiedliche Gewicht der Terme innerhalb des Dokumentes zu berücksichtigen, es kann beispielsweise wichtig sein, ob ein Begriff in der Überschrift oder im Textcorpus vorkommt. | ||
| + | |||
| + | ==Vektorraum-basierte Modelle== | ||
| + | |||
| + | In diesem Abschnitt wird kurz auf die Vektorraum-basierten Modelle eingegangen. Sie zeichnen sich durch eine hohe Retrievalqualität aus, fast alle Suchmaschinen im Web nutzen diese Modelle. | ||
| + | |||
| + | Besonders erwähnenswert ist die Relevanzrückkopplung, der Nutzer ist dazu aufgefordert zwischendurch das Ergebnis der Recherche zu beurteilen, damit das System vom Urteil des Nutzers ausgehend eine modifizierte Fragestellung entwickeln kann. | ||
| + | |||
| + | Dadurch wird die Retrievalqualität noch höher. Umfragen haben jedoch ergeben, dass viele Nutzer gar ich bereit sind, während der Recherche Relevanzurteile abzugeben. | ||
| + | |||
| + | ==Probabilistisches Retrieval== | ||
| + | |||
| + | Die beiden bisher beschriebenen Modelle berechnen die Ähnlichkeit zwischen der Suchanfrage des Nutzers und der Beschreibung, der in der Datenbank vorhandenen Dokumente. | ||
| + | |||
| + | Das nun folgende Modell hingegen schätzt die Wahrscheinlichkeit, dass ein Dokument auf eine Anfrage als relevant betrachtet wird. Im Ergebnis werden die Dokumente nach dieser geschätzten Wahrscheinlichkeit geordnet. Genau diese Sortierung der gefundenen Dokumente ist auch der größte Vorteil des probabilistischen Retrieval-Modells. | ||
| + | |||
| + | Der Prozess des Ordnens nach einer wahrscheinlichen Relevanz für den Nutzer nennt man [[Ranking]]. | ||
| + | |||
| + | =Bewertung von Information Retrieval Modellen= | ||
| + | Nach gelungener oder auch nicht gelungener Recherche ist es sicherlich für jeden Nutzer interessant zu erfahren, wie effizient das Retrieval-System mit dem er gearbeitet hat, tatsächlich ist. Die häufigsten Qualitätsmaße, die in diesem Zusammenhang verwendet werden sind [[Recall]] und [[Precision]]. Diese Beiden Kennwerte hängen in der Regel in einem direkten Zusammenhang, in so fern, als die Verbesserung des einen Wertes in der Regel die Verschlechterung des anderen mit sich bringt. Eine Erhöhung des Recall (beispielsweise indem die Suchanfrage um Synonyme ergänzt wird) zieht in der Regel eine Erniedrigung der Precission (mehr Balast) nach sich und umgekehrt. | ||
| + | |||
| + | =Quellen= | ||
| + | |||
| + | *Böll, Sebastian; Lapp, Martin (2005): [http://www.unifind.de/ir Homepage zum Tutorium „Information Retrieval“] | ||
| + | |||
| + | *Ferber, Reginald (2003): Information Retrieval. http://information-retrieval.de/irb/ir.html | ||
| + | |||
| + | *Fuhr, Nobert (2004): Theorie des Information Retrieval I: Modelle. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 207-214. | ||
| + | |||
| + | *Kind, Joachim (2004): Praxis des Information Retrieval. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 389-398. | ||
| + | |||
| + | *Luckhardt, Heinz-Dirk (2001): Information Retrieval. In: [http://is.uni-sb.de/studium/handbuch/exkurs_ir.php Virtuelles Handbuch der Informationswissenschaft] | ||
| + | |||
| + | *Nohr, Holger (2004): Theorie des Information Retrieval II: Automatische Indexierung. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 215-225. | ||
| + | |||
| + | *Stock, Wolfgang G. (2006): Information Retrieval. Suchen und Finden von Informationen. – München; Wien: Oldenbourg Wissenschaftsverlag. Inhaltsverzeichnis unter: http://www.phil-fak.uni-duesseldorf.de/infowiss/content/mitarbeiter/stock.php. | ||
| + | |||
| + | *Umlauf, Konrad (2010): Grundkurs Informationsaufbereitung - Vorlesungsskript. http://www.ib.hu-berlin.de/~kumlau/handreichungen/h189/ | ||
| + | |||
| + | *Wikipedia Online Thema: Information Retrieval http://de.wikipedia.org/wiki/Information_Retrieval | ||
| + | |||
| + | *Womser-Hacker, Christa: Theorie des Information Retrieval III: Evaluierung. In: In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 227-235. | ||
| + | |||
| + | (alle Links zuletzt besucht am 18.08.2010) | ||
| + | |||
| + | =Verwandte Begriffe= | ||
| − | + | * [[broader::Fachinformation]] | |
| + | * [[narrower::Online-Retrieval]] | ||
| + | * [[related::Datenbank]] | ||
| + | * [[related::Informationserschließung]] | ||
| + | * [[related::Dokumentationssprache]] | ||
| + | * [[synonymous::Informationswiedergewinnung]] | ||
| + | [[category:Information Retrieval]] | ||
Aktuelle Version vom 18. August 2010, 09:50 Uhr
Mit Information Retrieval bezeichnet man Methoden und Verfahren, die der Aufbereitung und Speicherung von 'verdatetem' Wissen und der Gewinnung von Informationen dienen. (Luckhardt 2001)
Im Gegensatz zu der Bezeichnung "Information Retrieval" beinhaltet die genannte Definition neben dem Wiederfinden auch die Aufbereitung und Speicherung von Wissen.
Inhaltsverzeichnis
Probleme
Der folgende Abschnitt befasst sich mit allgemeinen Problemen, die beim Information Retrieval auftreten.
Charakteristika des Gebietes
- Vage Anfragen
- Die von den Nutzern formulierten Anfragen sind oft sehr ungenau formuliert, nicht unbedingt aus Unerfahrenheit oder Unwissenheit, sondern weil sie noch gar keine klare Vorstellung von der Antwort haben, nach der sie eigentlich suchen.
- Unsicheres Wissen
- Dem Retrieval System fehlen in der Regel Kenntnisse über den Inhalt der Dokumente. Dies führt zu fehlerhaften und fehlenden Antworten. Besondere Probleme bei Texten bereiten z. B. Homonyme (Worte, die gleich geschrieben werden; z. B. Bank - Geldinstitut, Sitzgelegenheit) und Synonyme (Bank und Geldinstitut).
Probleme bei der Suche nach Information
- Die nahezu unüberschaubare Größe des Web und seine Dynamik führen immer wieder zu Problemen für den Nutzer; es werden permanent Änderungen vorgenommen, die keiner zentralen Verwaltung unterliegen.
- Die Heterogenität der Dokumente im WWW bietet einerseits eine große Vielfalt, erschwert aber andererseits auch die Auswahl. Außerdem gibt es keinerlei Qualitätskontrolle; ob ein Text von einem Laien oder einem Wissenschaftler verfasst wurde, muss man selbst herausfinden.
- Die weltweite Verteilung sorgt vor allem für Sprachbarrieren und Übersetzungsprobleme, aber auch kulturelle Unterschiede spielen eine Rolle.
- Die fehlende Organisation und Struktur des WWW erschwert die Suche. Zwar gibt es zahlreiche Suchmaschinen, die die Nutzer bei ihrer Suche unterstützen, dennoch bleiben zahlreiche Gegenden im WWW "unentdeckt". Verstärkt wird dies noch durch die Hypertextstruktur, die keinen klaren Weg druch das WWW vorgibt.
- Da es neben öffentlichen und gemeinnützigen auch kommerzielle Anbieter im Internet gibt, kommt es zu einer großen Konkurrenz. Der Nutzer muss genau prüfen, wer der Anbieter/Verfasser der verwendeten Dokumente ist und ob er tatsächlich objektiv ist.
- Unter dem Stichwort deep oder invisible Web versteht man die vielen Teile des Internets, die unentdeckt bleiben und nicht einmal von Suchmaschinen gefunden werden, obwohl sie nützliche Informationen enthalten könnten. Suchdienste gewinnen ihre Daten in der Regel durch maschinelle Indexierung und sind somit auf textuelle Informationen angewiesen. Das Internet hat sich jedoch zunehmend zu einem multimedialen Informationssystem entwickelt, daher bleiben Multimedia-Elemente oder Dateien, die nicht im HTML oder txt-Format vorliegen, wenn sie nicht mit textuellen Erläuterungen versehen werden, für die Suchdienste unauffindbar.
- Der Versuch eines Autors seine Seite im Ranking einer Suchmaschine besser zu platzieren heißt Spamming. Dies kann man zum Beispiel durch eine Mehrfachnennung von Schlüsselbegriffen in Bereichen des Dokuments, welche für den Benutzer unsichtbar bleiben (z.B. in Kommentarzeilen des Quelltextes) bewerkstelligen, bzw. durch "Verstecken" von Begriffen im lesbaren Teil einer Webseite (z.B. durch Wahl eines Schriftgrads, der so klein ist, dass das menschliche Auge ihn nicht wahrnehmen kann).
Struktur eines IR-Systems
Wie die Grafik zeigt, ist ein solches IR-System recht einfach aufgebaut. Auf der einen Seite stehen die Anfragen der Nutzer und deren entsprechende Repräsentation. Ihnen gegenüber befinden sich die in der Datenbank enthaltenen Dokumente und ihre entsprechende Repräsentation.
Im nächsten Schritt (Matching) versucht das System Übereinstimmungen zwischen beiden Seiten zu finden und zeigt schließlich das Ergebnis an. Die verschiedenen technischen Möglichkeiten des Matching werden im Kapitel zu den verschiedenen Retrieval-Modellen beschrieben.
Sehr wichtig ist schließlich die Rückkopplung: der Nutzer vergleicht das ihm gelieferte Ergebnis mit seiner Anfrage und den damit verbundenen Erwartungen. Werden diese erfüllt, ist die Recherche beendet und der Nutzer hat ein für ihn zufriedenstellendes Ergebnis erhalten. Ist das Gegenteil der Fall wird er eine neue Suche, möglicherweise mit anderen Suchtermen oder in einer anderen Datenbank/Suchmaschine, beginnen.
Aspekte eines Information Retrieval Modells
Information Retrieval Modelle müssen also folglich drei Aspekte abdecken:
- Die Repräsentation der in der Datenbank enthaltenen Dokumente.
- Die Repräsentation der vom Nutzer formulierten Anfragen.
- Die Verknüpfung der beiden erstgenannten Punkte in Form eines für den Nutzer zufrieden stellendes Ergebnisses.
Vier Schritte einer Recherche
Aus dieser Grafik lassen sich nach Kind vier Schritte einer Recherche ableiten:
- Präzision der Suchanfrage
- Auswahl der Datenbank
- Suchworte wählen und Anfrage eingeben
- Suchergebnis aufarbeiten
Im ersten Schritt überlegt sich der Nutzer genau, welche Art von Informationen er sucht, d.h. er fragt sich, ob er Texte oder Bilder, Daten oder Referenzen für die Lösung eines sich ihm stellenden Problems benötigt. Diese Präzisierung beeinflusst dann auch die Auswahl der Datenbank, was üblicherweise den zweiten Schritt einer Recherche darstellt.
Im folgenden Schritt, nachdem die geeignete Datenbank gefunden wurde, geht es darum, eine möglichst genaue Suchanfrage zu formulieren um ein bestmögliches Ergebnis zu erzielen. Welche Möglichkeiten dem Nutzer genau zur Verfügung stehen wird im Artikel Suchoperatoren ausführlich behandelt.
Die Aufarbeitung des Suchergebnisses, die Analyse der von der Datenbank oder der Suchmaschine gelieferten Resultate, stellt den letzten Schritt einer Recherche dar. Zwei Szenarien sind denkbar: entweder die erste Suche liefert ein zufrieden stellendes Ergebnis und der Nutzer kann die Recherche beenden. Oder die Resultate entsprechen nicht den Erwartungen. In diesem zweiten Fall muss der Nutzer eine neue Suchanfrage stellen und beispielsweise andere Deskriptoren oder eine andere Suchmaschine verwenden.
Speicherung von Daten
Man unterscheidet zwei Gruppen von Personen, die an einem Information Retrieval System beteiligt sind: die, die Informationen zur Verfügung stellen, also Anbieter von Datenbanken oder Wissenschaftler, und die, die eine Aufgabe lösen wollen und dafür Informationen benötigen.
Es steht eine große Anzahl von Datenbanken zur Verfügung, je nach Art der angebotenen Dokumente entscheidet sich der Anbieter für die Datenbank, in die er seine Informationen einbetten möchte, und die Art der gesuchten Dokumente beeinflusst selbstverständlich auch die Wahl des suchenden Nutzers.
Verschiedene Arten von Datenbanken
Zunächst ist eine Unterscheidung nach Text-, Fakten- oder Bilddatenbanken sinnvoll. Textdatenbanken enthalten Dokumente der geschriebenen Sprache, Faktendatenbanken gruppieren Daten und in Bilddatenbanken findet man Bildmaterialien aller Art.
Im Bereich Textdatenbanken können Daten in Referenz- oder in Volltextdatenbanken gespeichert werden. Letztere enthalten vollständige Texte und der Nutzer kann sich den ganzen Text anschauen. Referenzdatenbanken hingegen enthalten lediglich Hinweise auf Orginaltexte. Beispiele für diese Art Datenbanken sind bibliographische Datenbanken (sie enthalten Literaturhinweise), Firmendatenbanken (Beschäftigungszahlen oder der Umsatz einer Firma in einem bestimmten Zeitraum) oder Expertendatenbanken (Recherche nach Fachleuten in bestimmten Bereichen).
In Volltextdatenbanken hingegen sind ganze Texte gespeichert, evtl. auch mit Bildern.
Statistische und juristische Datenbanken sind Beispiele für die oben genannte dritte Kategorie von Textdatenbanken, die Faktendatenbanken. Diese sammeln vor allem Zahlen und Statistiken.
Eine Datenbank der Datenbanken, z.B. die Gale Directory of Databases kann bei der Auswahl der richtigen Datenbank sehr hilfreich sein.
Aufbereitung von Information
Damit Nutzer Texte in Datenbanken wiederfinden können, müssen diese zunächst aufbereitet werden, d.h. man ordnet den Texten durch Indexierung so genannte Deskriptoren, also Begriffe, die den Inhalt des Texts genauer beschreiben, zu und ordnet diese in so genannten Klassifikationen oder Thesauri.
Information Retrieval Modelle
Vorbemerkungen
Bei der inhaltsorientierten Suche unterscheidet man zunächst drei Abstraktionsebenen:
- Syntax: Das Dokument wird lediglich als Folge von Symbolen betrachtet.
- Semantik: Bedeutung und Inhalt des Dokuments werden untersucht.
- Pragmatik: Die Nutzung des Dokumentes erfolgt nur für einen bestimmten Zweck, das Oberthema muss bei allen gefundenen Dokumenten gleich sein, der genaue Inhalt kann aber variieren.
Allgemein unterscheidet man Exact-Match-Paradigma und Partial-Match-Paradigma. Ersteres Paradigma liefert nur 100%ige Treffer während die partial-Methode eine Sortierung von relevant bis weniger relevant vornimmt.
Verschiedene Retrieval-Modelle
Im folgenden Kapitel wird auf verschiedene Retrieval-Modelle eingegangen, dabei geht es vor allem um ein generelles Verständnis des jeweiligen Modells. Der Schwerpunkt liegt auf dem mengentheoretischen Modell, da es zu den am weitesten verbreiteten gehören.
Mengentheoretische Modelle
Boole’sche Logik
Die Boole'sche Logik geht auf eine Theorie des englischen Mathematikers und Logikers George Boole (1815-64) zurück. Bei ihr handelt es sich um eine mächtige Retrievalsprache, die es ermöglicht, beliebige Mengen aus einer Dokumentenkollektion zu selektieren und miteinander zu verknüpfen. Dies geschieht mit so genannten Suchoperatoren.
Vor- und Nachteile der Boole'schen Logik
Die Vorteile der Boole'schen Logik liegen vor allem in der unkomplizierten Infrastruktur und im einfachen Implementieren der Operatoren.
Ein großer Nachteil hingegen ist, dass die Ergebnisse nicht gerankt sind, also in beliebiger Reihenfolge erscheinen und es ganz allein am Nutzer liegt das Ergebnis auszuwerten. Außerdem ist das Formulieren der Anfrage sehr aufwendig und man kann nicht voraussehen, wie umfangreich das Resultat der Recherche sein wird. Es auch unmöglich, das unterschiedliche Gewicht der Terme innerhalb des Dokumentes zu berücksichtigen, es kann beispielsweise wichtig sein, ob ein Begriff in der Überschrift oder im Textcorpus vorkommt.
Vektorraum-basierte Modelle
In diesem Abschnitt wird kurz auf die Vektorraum-basierten Modelle eingegangen. Sie zeichnen sich durch eine hohe Retrievalqualität aus, fast alle Suchmaschinen im Web nutzen diese Modelle.
Besonders erwähnenswert ist die Relevanzrückkopplung, der Nutzer ist dazu aufgefordert zwischendurch das Ergebnis der Recherche zu beurteilen, damit das System vom Urteil des Nutzers ausgehend eine modifizierte Fragestellung entwickeln kann.
Dadurch wird die Retrievalqualität noch höher. Umfragen haben jedoch ergeben, dass viele Nutzer gar ich bereit sind, während der Recherche Relevanzurteile abzugeben.
Probabilistisches Retrieval
Die beiden bisher beschriebenen Modelle berechnen die Ähnlichkeit zwischen der Suchanfrage des Nutzers und der Beschreibung, der in der Datenbank vorhandenen Dokumente.
Das nun folgende Modell hingegen schätzt die Wahrscheinlichkeit, dass ein Dokument auf eine Anfrage als relevant betrachtet wird. Im Ergebnis werden die Dokumente nach dieser geschätzten Wahrscheinlichkeit geordnet. Genau diese Sortierung der gefundenen Dokumente ist auch der größte Vorteil des probabilistischen Retrieval-Modells.
Der Prozess des Ordnens nach einer wahrscheinlichen Relevanz für den Nutzer nennt man Ranking.
Bewertung von Information Retrieval Modellen
Nach gelungener oder auch nicht gelungener Recherche ist es sicherlich für jeden Nutzer interessant zu erfahren, wie effizient das Retrieval-System mit dem er gearbeitet hat, tatsächlich ist. Die häufigsten Qualitätsmaße, die in diesem Zusammenhang verwendet werden sind Recall und Precision. Diese Beiden Kennwerte hängen in der Regel in einem direkten Zusammenhang, in so fern, als die Verbesserung des einen Wertes in der Regel die Verschlechterung des anderen mit sich bringt. Eine Erhöhung des Recall (beispielsweise indem die Suchanfrage um Synonyme ergänzt wird) zieht in der Regel eine Erniedrigung der Precission (mehr Balast) nach sich und umgekehrt.
Quellen
- Böll, Sebastian; Lapp, Martin (2005): Homepage zum Tutorium „Information Retrieval“
- Ferber, Reginald (2003): Information Retrieval. http://information-retrieval.de/irb/ir.html
- Fuhr, Nobert (2004): Theorie des Information Retrieval I: Modelle. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 207-214.
- Kind, Joachim (2004): Praxis des Information Retrieval. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 389-398.
- Luckhardt, Heinz-Dirk (2001): Information Retrieval. In: Virtuelles Handbuch der Informationswissenschaft
- Nohr, Holger (2004): Theorie des Information Retrieval II: Automatische Indexierung. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 215-225.
- Stock, Wolfgang G. (2006): Information Retrieval. Suchen und Finden von Informationen. – München; Wien: Oldenbourg Wissenschaftsverlag. Inhaltsverzeichnis unter: http://www.phil-fak.uni-duesseldorf.de/infowiss/content/mitarbeiter/stock.php.
- Umlauf, Konrad (2010): Grundkurs Informationsaufbereitung - Vorlesungsskript. http://www.ib.hu-berlin.de/~kumlau/handreichungen/h189/
- Wikipedia Online Thema: Information Retrieval http://de.wikipedia.org/wiki/Information_Retrieval
- Womser-Hacker, Christa: Theorie des Information Retrieval III: Evaluierung. In: In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 227-235.
(alle Links zuletzt besucht am 18.08.2010)
