Information Retrieval

Dieser Artikel ist noch "in Arbeit", bitte nicht verändern!

Definition

Mit Information Retrieval bezeichnet man Methoden und Verfahren, die der Aufbereitung und Speicherung von 'verdatetem' Wissen und der Gewinnung von Informationen dienen. (Luckhardt 2001)

Im Gegensatz zum Begriff "Information Retrieval" beinhaltet die genannte Definition neben dem Wiederfinden auch die Aufbereitung und Speicherung von Wissen.

Probleme

Der folgende Abschnitt befasst sich mit allgemeinen Problemen, die beim Information Retrieval auftreten.

Charakteristika des Gebietes

• Vage Anfragen

Die von den Nutzern formulierten Anfragen sind oft sehr ungenau formuliert, nicht unbedingt aus Unerfahrenheit oder Unwissenheit, sondern weil sie noch gar keine klare Vorstellung von der Antwort haben, nach der sie eigentlich suchen.

• Unsicheres Wissen

Dem Retrieval System fehlen in der Regel Kenntnisse über den Inhalt der Dokumente. Dies führt zu fehlerhaften und fehlenden Antworten. Besondere Probleme bei Texten bereiten z. B. Homonyme (Worte, die gleich geschrieben werden; z. B. Bank - Geldinstitut, Sitzgelegenheit) und Synonyme (Bank und Geldinstitut).

Probleme bei der Suche nach Information

• Die nahezu unüberschaubare Größe des Web und seine Dynamik führen immer wieder zu Problemen für den Nutzer; es werden permanent Änderungen vorgenommen, die keiner zentralen Verwaltung unterliegen.

• Die Heterogenität der Dokumente im WWW bietet einerseits eine große Vielfalt, erschwert aber andererseits auch die Auswahl. Außerdem gibt es keinerlei Qualitätskontrolle; ob ein Text von einem Laien oder einem Wissenschaftler verfasst wurde, muss man selbst herausfinden.

• Die weltweite Verteilung sorgt vor allem für Sprachbarrieren und Übersetzungsprobleme, aber auch kulturelle Unterschiede spielen eine Rolle.

• Die fehlende Organisation und Struktur des WWW erschwert die Suche. Zwar gibt es zahlreiche Suchmaschinen, die die Nutzer bei ihrer Suche unterstützen, dennoch bleiben zahlreiche Gegenden im WWW "unentdeckt". Verstärkt wird dies noch durch die Hypertextstruktur, die keinen klaren Weg druch das WWW vorgibt.

• Da es neben öffentlichen und gemeinnützigen auch kommerzielle Anbieter im Internet gibt, kommt es zu einer großen Konkurrenz. Der Nutzer muss genau prüfen, wer der Anbieter/Verfasser der verwendeten Dokumente ist und ob er tatsächlich objektiv ist.

• Unter dem Stichwort deep oder invisible Web versteht man die vielen Teile des Internets, die unentdeckt bleiben und nicht einmal von Suchmaschinen gefunden werden, obwohl sie nützliche Informationen enthalten könnten. Suchdienste gewinnen ihre Daten in der Regel durch maschinelle Indexierung und sind somit auf textuelle Informationen angewiesen. Das Internet hat sich jedoch zunehmend zu einem multimedialen Informationssystem entwickelt, daher bleiben Multimedia-Elemente oder Dateien, die nicht im HTML oder txt-Format vorliegen, wenn sie nicht mit textuellen Erläuterungen versehen werden, für die Suchdienste unauffindbar.

• Der Versuch eines Autors seine Seite im Ranking einer Suchmaschine besser zu platzieren heißt Spamming. Dies kann man zum Beispiel durch eine Mehrfachnennung von Schlüsselbegriffen in Bereichen des Dokuments, welche für den Benutzer unsichtbar bleiben (z.B. in Kommentarzeilen des Quelltextes) bewerkstelligen, bzw. durch "Verstecken" von Begriffen im lesbaren Teil einer Webseite (z.B. durch Wahl eines Schriftgrads, der so klein ist, dass das menschliche Auge ihn nicht wahrnehmen kann).

Struktur eines IR-Systems

Wie die Grafik zeigt, ist ein solches IR-System recht einfach aufgebaut. Auf der einen Seite sehen wir die Anfragen der Nutzer und deren entsprechende Repräsentation, gegebüber die in der Datenbank enthaltenen Dokumente und ebenalls ihre entsprechende Repräsentation.

Im nächsten Schritt (Matching) versucht das System Übereinstimmungen zwischen beiden Seiten zu finden und zeigt schließlich das Ergebnis an. Die verschiedenen technischen Möglichkeiten des Matching werden im Kapitel zu den verschiedenen Retrieval-Modellen beschrieben.

Sehr wichtig ist schließlich die Rückkopplung: der Nutzer vergleicht das ihm gelieferte Ergebnis mit seiner Anfrage und den damit verbundenen Erwartungen. Werden diese erfüllt, ist die Recherche beendet und der Nutzer hat ein für ihn zufriedenstellendes Ergebnis. Ist das Gegenteil der Fall, wird er eine neue Suche, möglicherweise mit anderen Suchtermen oder in einer anderen Datenabank/Suchmaschine, beginnen.

Apekte eines Information Retrieval Modells

Information Retrival Modelle müssen also folglich drei Aspekte abdecken:

• Die Repräsentation der in der Datenbank enthaltenen Dokumente.
• Die Repräsentation der vom Nutzer formulierten Anfragen.
• Die Verknüpfung der beiden erstgenannten Punkt in Form eines für den Nutzer zufriedenstellendes Ergebnisses.

Vier Schritte einer Recherche

Aus dieser Grafik lassen sich nach Kind vier Schritte einer Recherche ableiten:

• Präzision der Suchanfrage
• Auswahl der Datenbank
• Suchworte wählen und Anfrage eingeben
• Suchergebnis aufarbeiten

Im ersten Schritt überlegt sich der Nutzer genau, welche Art von Informationen er sucht, d.h. er fragt sich, ob er Texte oder Bilder, Daten oder Referenzen für die Lösung eines sich ihm stellendes Problems benötigt. Diese Präzisierung beeinflusst dann auch die Auswahl der Datenbenk, welches üblicherweise der zweite Schritt bei einer Recherche ist. Als Hilfe bei der Auswahl kann die schon angesprochene Datenbank der Datenbanken dienen.

Im folgenden Schritt, also nachdem die geeignete Datenbank gefunden ist, geht es darum, eine möglichst genaue Suchanfrage zu formulieren um ein bestmöglichen Ergebnis zu erzielen. Welche Möglicheiten dem Nutzer genau zur Verfügung stehen werden im Artikel Suchoperatoren ausführlich behandelt.

Die Aufarbeitung des Suchergebnisses, die Analyse der von der Datenbank oder der Suchmaschine gelieferten Resultate, markiert den letzten Schritt einer Recherche. Zwei Szenarien sind denkbar: die erste Suche liefert ein zufriedenstellendes Ergebnis und der Nutzer kann die Recherche beenden. Es kann aber auch sein, dass die Resultate nicht den Erwartungen entsprechen. In diesem Fall muss der Nutzer eine neue Suchanfrage stellen und beispielsweise andere Deskriptoren oder eine andere Suchmaschine verwenden.

Speicherung von Daten

Man unterscheidet zwei Gruppen von Personen, die an einem Information Retrieval System beteiligt sind: die, die Informationen zur Verfügung stellen, also Anbieter von Datenbanken oder Wissenschaftler und die, die eine Aufgabe lösen wollen und dafür Informationen benötigen.

Es stehen eine große Vielzahl von Datenbanken zur Verfügung, je nach Art der angebotenen Dokumente, entscheidet sich der Anbieter für eine Datenbank und die Art der gesuchten Dokumente beeinflusst selbstverständlich auch die Wahl des suchenden Nutzers.

Verschiedene Arten von Datenbanken

Zunächst ist eine Unterscheidung nach Text-, Faten- oder Bilddatenbanken sinnvoll. Textdatenbanken enthalten Dokumente der geschriebenen Sprache, Faktendatenbanken gruppieren Daten und in Bilddatenbanken findet man Bildmaterialien aller Art.

Im Bereich Textdatenbanken schließlich können Daten in Referanz- oder in Volltextdatenbanken gespeichert werden. Letztere enthalten vollständige Texte und der Nutzer kann sich den ganzen Text anschauen. Referenzdatenbanken hingegen enthalten lediglich Hinweise auf Orginaltexte. Beispiele für diese Art Datenbanken sind bibliographische Datenbanken (sie enthalten Literaturhinweise), Firmendatenbanken (Beschäftigungszahlen oder der Umsatz einer Firma in einem bestimmten Zeitraum) oder Expertendatenbanken (Recherche nach Fachleuten in bestimmten Bereichen).

In Volltextdatenbanken hingegen sind ganze Texte gespeichert, manchmal auch mit Bildern.

Statistische und juristische Datenbanken sind Beispiele für die oben genannte dritte Kategorie von Textdatenbanken, die Faktendatenbanken. Diese sammeln vor allem Zahlen und Statistiken.

Eine Datenbank der Datenbanken, z.B. die Gale Directory of Databases kann bei der Auswahl der richtigen Datenbank sehr hilfreich sein.

Aufbereitung von Information

Damit Nutzer Texte in Datenbanken wiederfinden können, müssen diese zunächst aufbereitet werden, d.h. man ordnet den Texten so genannte Deskriptoren, also Begriffe die den Inhalt des Texts genauer beschreiben, zu und ordnet sie in so genannten Klassifikationen.

Information Retrieval Modelle

Vorbemerkungen

Bei der inhaltsorientierten Suche unterscheidet man zunächst drei Abstraktionsebenen:

• Syntax: Das Dokument wird lediglich als Folge von Symbolen betrachtet.
• Semantik: Bedeutung und Inhalt des Dokuments werden untersucht.
• Pragmatik: Die Nutzung des Dokumentes erfolgt nur für einen bestimmten Zweck, das Oberthema muss bei allen gefundenen Dokumenten gleich sein, der genaue Inhalt kann aber variieren.

Allgemein unterscheidet man Exact-Match-Paradigma und Partial-Match-Paradigma. Ersteres Paradigma liefert nur 100%ige Treffer während die partial-Methode eine Sortierung von relevant bis weniger relevant vornimmt.

Verschiedene Retrieval-Modelle

Im folgenden Kapitel wird auf verschiedene Retrieval-Modelle eingegangen, dabei geht es vor allem und ein generelles Verständnis des jeweiligen Modells und detaillierte Beschreibungen. Der Schwerpunkt liegt auf den mengentheoretische Modellen, da sie zu den meist verbreiteten gehören.

Mengentheoretische Modelle

Bool’sche Logik

Die Bool'sche Logik geht auf eine Theorie des englischen Mathematikers und Logikers George Boole (1815-64) zurück. Bei ihr handelt es sich um eine mächtige Retrievalsprache, die es ermöglicht, beliebige Mengen aus einer Dokumentenkollektion zu selektieren und miteinander zu verknüpfen. Dies geschieht mit so genannten Suchoperatoren.

Vor- und Nachteile der Bool'schen Logik

Die Vorteile der Bool'schen Logik beziehen sich vor allem auf die unkomplizierte Infrastruktur und die das leichte Implementieren der Operatoren.

Ein großer Nachteil hingegen ist, dass die Ergebnisse nicht gerankt sind, also in beliebiger Reihenfolge erscheinen und es ganz allein am Nutzer liegt das Ergebnis auszuwerten. Außerdem ist dsa Foröulieren der Anfrage sehr aufwendig und man kann nicht voraussehen wie groß das Resultat der Recherche sein wird. Schließlich ist es auch nicht möglich das unterschiedliche Gewicht der Terme innerhalb des Dokumentes zu berücksichtigen, es kann beispielsweise wichtig sein, ob ein Begriff in der Überschrift oder im Textcorpus vorkommt.

Vektorraum-basierte Modelle

In diesem Abschnitt wird kurz auf die Vektorraum-basierten Modelle eingegangen. Sie zeichnen sich durch eine hohe Retrievalqualität aus, fast alle Suchmaschinen im Web nutzen diese Modelle.

Besonders erwähnenswert ist die Relevanzrückkopplung, der Nutzer ist dazu aufgefordert zwischendurch das Ergebnis der Recherche zu beruteilen, damit das System vom Urteil des Nutzers ausgehend eine modifizierte Fragestellung entwickeln kann.

Dadurch wird die Retrievalqualität noch höher. Umfragen haben jedoch ergeben, dass viele Nutzer gar ich bereit sind, während der Recherche Relevanzurteile abzugeben.

Probabilistisches Retrieval

Die beiden bisher beschriebenen Modelle berechnen die Ähnlichkeit zwischen der Suchanfrage des Nutzers und der Beschreibung, der in der Datenbank vorhandenen Dokumente.

Das nun folgende Modell hingegen schätzt die Wahrscheinlichkeit, dass ein Dokument auf eine Anfrage als relevant betrachtet wird. Im Ergebnis werden die Dokumente nach dieser geschätzten Wahrscheinlichkeit geordnet. Genau diese Sortierung der gefundenen Dokumente ist auch der größte Vorteil des probabilistischen Retrieval-Modells.

Der Prozess des Ordens nach einer wahrscheinlichen Relevanz für den Nutzer nennt man Ranking.

Bewertung von Information Retrieval Modellen

Nach gelungener oder auch nicht gelungener Recherche ist es sicherlich für jeden Nutzer interessant zu erfahren, wie effizient das Retrieval-System mit der er gearbeitet hat, tatsächlich ist.

Man unterscheidet zwei recht einfache Methoden dies herauszufinden:

Recall

Der Recall gibt also an, wie viele der in der Datenbank vorhandenen relevanten Dokumente auch tatsächlich gefunden wurden, die Berechnung zielt also auf die Vollständigkeit der Suche ab. Nimmt der Recall den Idealwert 1 an, wurden alle relevanten Dokumente in der Datenbank gefunden.

Precesion

Die Precision gibt also an, wie viele der gefundenen Dokumente relevant sind, ermittelt also die Genauigkeit der Suche. Nimmt die Precision den Idealwert 1 an, sind alle gefundenen Dokumente relevant. Bei der Suche im WWW ist die Precision ein praktischer Wert, der exakt ermittelbar ist, wenn auch ggf. mit ehr großem Aufwand. Inwiefern die gefundenen Dokumente tatsächlich relevant sind, kann man nämlich nur durch Betrachtung des Ergebnisses feststellen.

Natürlich liegt es am Nutzer selbst, ob er einen höheren Recall, also eine größere Menge gefundener Dokumente und demnach alle, die für ihn relevant sind und darüber hinaus noch weitere möglicherweise uninteressante Daten bevorzugt, oder eine höhere Präzision, d.h. nur Dokumente die auch 100%ig zu seiner Anfrage passen. Bei letzterer Präferenz besteht die Gefahr, dass einige interessante Dokumente nicht angezeigt werden.

Quellen

• Bekavac, Bernhard; Griesbaum, Joachim; Kuhlen, Rainer (2002/2003): Information Retrieval. Kursmaterialien des WS 02/03, letzter Zugriff 26.09.05.

• Böll, Sebastian; Lapp, Martin (2005): Homepage zum Tutorium „Information Retrieval“, letzter Zugriff 01.06.05.

• Fuhr, Nobert (2004): Theorie des Information Retrieval I: Modelle. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 207-214.

• Kind, Joachim (2004): Praxis des Information Retrieval. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 389-398.

• Luckhardt, Heinz-Dirk (2001): Information Retrieval. In: Virtuelles Handbuch der Informationswissenschaft, letzter Zugriff 27.09.05.

• Nohr, Holger (2004): Theorie des Information Retrieval II: Automatische Indexierung. In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 215-225.

• Womser-Hacker, Christa: Theorie des Information Retrieval III: Evaluierung. In: In: Kuhlen, Rainer; Seeger, Thomas; Strauch, Dietmar (2004): Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. München: K. G. Saur. S. 227-235.