Automatische Indexierung: Unterschied zwischen den Versionen

Aus InfoWissWiki - Das Wiki der Informationswissenschaft
Zur Navigation springen Zur Suche springen
Zeile 23: Zeile 23:
 
Um die Indexdatenbank jedoch möglichst schlank halten zu können, also die Zahl der Deskriptoren zu reduzieren und somit die Bearbeitungszeit zu verringern (sowohl bei der Erstellung als auch bei der Suchanfrage), löscht man aus dem Index so genannte [[Stoppwort|Stoppworte]] (inhaltsleere Wörter) heraus.
 
Um die Indexdatenbank jedoch möglichst schlank halten zu können, also die Zahl der Deskriptoren zu reduzieren und somit die Bearbeitungszeit zu verringern (sowohl bei der Erstellung als auch bei der Suchanfrage), löscht man aus dem Index so genannte [[Stoppwort|Stoppworte]] (inhaltsleere Wörter) heraus.
  
Dieses Verfahren ist relativ einfach zu [[Implementierung|implementieren]], aber (abgesehen von trunkierten Wortformen – wenn im Suchsystem implementiert) nicht sehr "intelligent".
+
Dieses Verfahren ist relativ einfach zu implementieren, aber (abgesehen von trunkierten Wortformen – wenn im Suchsystem implementiert) nicht sehr "intelligent".
  
  
 
==Morphologisch-lexikalische Verfahren==
 
==Morphologisch-lexikalische Verfahren==
  
Das '''morphologisch-lexikalische Verfahren''' wird eingesetzt, um den bei der Trunkierung enstehenden Ballast zu reduzieren. Es bietet eine bessere [[Retrieval]]-Genauigkeit durch Computerlexika, aufgeteilt in Wortformen- und Stammlexika, die mit unterschiedlichen Arbeitsweisen vorgehen.
+
Das '''morphologisch-lexikalische Verfahren''' wird eingesetzt, um den bei der Trunkierung entstehenden Ballast zu reduzieren. Es bietet eine bessere [[Retrieval]]-Genauigkeit durch Computerlexika, aufgeteilt in Wortformen- und Stammlexika, die mit unterschiedlichen Arbeitsweisen vorgehen.
  
Wortformenlexika beinhalten alle Grundformen aller enthaltener Wörter mit den dazugehörigen grammatischen Formen (Person, Numerus, Tempus..).
+
Wortformenlexika beinhalten alle Grundformen aller enthaltener Wörter mit den dazugehörigen grammatischen Formen (Person, Numerus, Tempus..). Dadurch wird eine [[Morphologie|morphologische]] Analyse, und somit eine Untersuchung von Wörtern, die nicht im Lexikon enthalten sind, überflüssig, z.B. Wortzusammensetzungen und Ableitungen. <br>
Dadurch wird eine [[Morphologie|morphologische]] Analyse, und somit eine Untersuchung von Wörtern, die nicht im Lexikon enthalten sind, überflüssig, z.B. Wortzusammensetzungen und Ableitungen. <br>
+
Nur mit Stammlexika kann man neue Wörter analysieren, die noch nicht im Lexikon stehen. Auf diesem Weg und in Verbindung mit einer syntaktischen Analyse lassen sich auch Mehrwortbegriffe mit einbeziehen (wie "natürliche Person"). Lexikalische Systeme sind flexibler in Bezug auf neue Wörter, wie z.B. Spaßgesellschaftskonsum.
Nur mit Stammlexika kann man neue Wörter analysieren, die noch nicht im Lexikon stehen. <br>
 
Auf diesem Weg und in Verbindung mit einer syntaktischen Analyse lassen sich auch Mehrwortbegriffe mit einbeziehen (wie "natürliche Person"). <br>
 
Lexikalische Systeme sind dafür flexibler in Bezug auf neue Wörter, wie z.B. Spaßgesellschaftskonsum.
 
  
  
Zeile 40: Zeile 37:
  
 
Deutlich aufwendiger als das '''Morphologisch-lexikalische Verfahren''' ist das '''Morphosyntaktische Verfahren'''. Es ist allerdings auch - abgesehen vom [[#Semantische Analyse|semantischen Verfahren]] - das qualitativ hochwertigste Verfahren. Hierbei werden Texte [[Parsen|geparst]] und eine komplette Repräsentation des Textes wird angelegt. Dann ist die Analyse von Mehrwortdeskriptoren möglich.<br>
 
Deutlich aufwendiger als das '''Morphologisch-lexikalische Verfahren''' ist das '''Morphosyntaktische Verfahren'''. Es ist allerdings auch - abgesehen vom [[#Semantische Analyse|semantischen Verfahren]] - das qualitativ hochwertigste Verfahren. Hierbei werden Texte [[Parsen|geparst]] und eine komplette Repräsentation des Textes wird angelegt. Dann ist die Analyse von Mehrwortdeskriptoren möglich.<br>
Teilweise ist sogar das Erkennen von Abhängigkeiten zwischen mehreren [[Deskriptoren ]] möglich. <br>
+
Teilweise ist sogar das Erkennen von Abhängigkeiten zwischen mehreren [[Deskriptoren ]] möglich. Z.B.: Das Gericht verneinte einen Anspruch des Klägers auf Entschädigung (Dependenzanalyse) -> Anspruch auf Entschädigung. <br>
Z.B.: Das Gericht verneinte einen Anspruch des Klägers auf Entschädigung (Dependenzanalyse) -> Anspruch auf Entschädigung. <br>
+
Die Beseitigung von Mehrdeutigkeiten der natürlichen Sprache ist ein sehr zeitaufwendiges Problem bei der Indexierung von Texten.  
Die Mehrdeutigkeit natürlicher Sprache ist jedoch ein sehr zeitaufwendiges Problem bei der Indexierung von Texten. <br>
+
Doch um eine wirklich vollautomatische Indexierung zufriedenstellend betreiben zu können ist keines der aufwendigeren Verfahren wirklich praktikabel. Dies ließe sich nur durch semantische Analyse lösen. Aber trotz intensiver Forschungsbemühungen gibt es zurzeit noch keine praktikablen Ergebnisse.  
Doch um eine wirklich vollautomatische Indexierung zufriedenstellend betreiben zu können ist keines dieser Verfahren wirklich praktikabel.
 
Dies ließe sich nur durch semantische Analyse lösen. Aber trotz intensiver Forschungsbemühungen gibt es zurzeit noch keine praktikablen Ergebnisse.  
 
  
  
 
==Semantische Analyse==  
 
==Semantische Analyse==  
  
Eine semantische Analyse ist beispielsweise von Vorteil, wenn ein Sachverhalt von mehreren Personen beschrieben wird. Erläutern verschiedene Nutzer den gleichen Sachverhalt, wählen sie dafür unterschiedliche Formulierungen. Die sogenannten Rollenindikatoren trennen hier mit Hilfe der semantischen Analyse Subjekt, Objekt und Handlung von den Deskriptoren. Ein und derselbe Sachverhalt kann je nach Situation ganz verschieden formuliert werden, sollte aber, um diesen Sachverhalt abfragen zu können, in eine einzige schlüssige semantische Repräsentation überführt werden.
+
Eine semantische Analyse wäre beispielsweise von Vorteil, wenn ein Sachverhalt von mehreren Personen beschrieben wird. Erläutern verschiedene Nutzer den gleichen Sachverhalt, wählen sie dafür unterschiedliche Formulierungen. Die sogenannten Rollenindikatoren trennen hier mit Hilfe der semantischen Analyse Subjekt, Objekt und Handlung von den Deskriptoren. Ein und derselbe Sachverhalt kann je nach Situation ganz verschieden formuliert werden, sollte aber, um diesen Sachverhalt abfragen zu können, in eine einzige schlüssige semantische Repräsentation überführt werden.
 
Zum besseren Verständnis folgt hier ein Beispiel aus dem [http://is.uni-sb.de/studium/handbuch/exkurs.ind.php#semant virtuellen Handbuch der Informationswissenschaft], das ursprünglich in der DIN 31 623 Teil 3 aufgeführt wurde:
 
Zum besseren Verständnis folgt hier ein Beispiel aus dem [http://is.uni-sb.de/studium/handbuch/exkurs.ind.php#semant virtuellen Handbuch der Informationswissenschaft], das ursprünglich in der DIN 31 623 Teil 3 aufgeführt wurde:
  
Zeile 74: Zeile 69:
 
<br><br><br><br><br><br><br>
 
<br><br><br><br><br><br><br>
  
Es gibt Forschungsansätze wie z.B. AIR-PHYS von der TH Darmstadt oder CTX der informationswissenschaftlichen Fakultät der Universität des Saarlandes.
+
Es gibt Forschungsansätze wie z.B. AIR-PHYS von der TH Darmstadt oder CTX der informationswissenschaftlichen Fakultät der Universität des Saarlandes. Alle haben jedoch ähnliche Probleme wie z.B.: hoher Aufwand für die Lexikonpflege, Mehrdeutigkeiten, Performanceprobleme, Bedienungsprobleme, etc.<br>
Alle haben jedoch ähnliche Probleme wie z.B.: hoher Aufwand für die Lexikonpflege, Mehrdeutigkeiten, Performanceprobleme, Bedienungsprobleme, etc.<br>
 
 
Das Produkt [http://www.fujitsu-siemens.de/products/software/transaction_processing/retrieval_systems/passat.html PASSAT] von Siemens findet bereits erfolgreichen Einsatz.
 
Das Produkt [http://www.fujitsu-siemens.de/products/software/transaction_processing/retrieval_systems/passat.html PASSAT] von Siemens findet bereits erfolgreichen Einsatz.
  
 
  '''Thesaurusrelation'''<br>
 
  '''Thesaurusrelation'''<br>
 
  Auch '''[[Thesaurus|Thesauri]]''' werden bei der automatischen Indexierung angewendet. Durch sie werden die semantischen
 
  Auch '''[[Thesaurus|Thesauri]]''' werden bei der automatischen Indexierung angewendet. Durch sie werden die semantischen
  Beziehungen verschiedener Begriffe zueinander festgehalten. Das heißt, dass auch Begriffe, die nicht  
+
  Beziehungen verschiedener Begriffe zueinander festgehalten. Das heißt, dass auch Begriffe, die nicht im Text stehen, aber trotzdem das Dokument sehr gut beschreiben, als Deskriptoren zur Verfügung stehen können. <br>
im Text stehen, aber trotzdem das Dokument sehr gut beschreiben, als Deskriptoren zur Verfügung  
 
stehen können. <br>
 
  
 
==Quellen==
 
==Quellen==

Version vom 20. September 2006, 10:02 Uhr

Die automatische Indexierung ist neben der intellektuellen (manuellen) und der computergestützten Indexierung eine der Methoden, mit denen Deskriptoren einer dokumentarischen Bezugseinheit zugeordnet werden können.

Die automatische Indexierung setzt voraus, dass "coded informations" vorhanden sind. Mit anderen Worten, Zeichenketten, die der Computer bzw. die Software durchsuchen kann. Man unterscheidet zwischen folgenden unterschiedlichen automatischen Indexierungsverfahren:


Freitextverfahren

Hierbei übernimmt das System alle Wörter in den Index und lässt sie somit zur Suche zu.

Der Index kann hierbei nach vollen bzw. trunkierten Wortformen durchsucht werden. Durch Trunkierungssymbole werden Teile des Wortes isoliert, es können dann Wörter gesucht werden, in denen der übrig gebliebene Wortteil enthalten ist.
Diese Symbole können, je nach Anwendung, unterschiedlich aussehen (z.B. "?" oder "*") und vor, nach oder in der Mitte eines Wortes gesetzt werden.

Beispielsweise „Atlas“:
man möchte andere Formen dieses Wortes berücksichtigen und schreibt „atla?“, erhält dann u.a. „Atlasse, Atlassen, Atlanten“ aber auch „Atlantik“.

Dieses Beispiel macht deutlich, dass durch dieses Verfahren auch viel Ballast produziert werden kann (Atlantik = Ballast).
Dem Problem des Ballastes versucht das Morphologisch-lexikalische Verfahren gerecht zu werden.

Um die Indexdatenbank jedoch möglichst schlank halten zu können, also die Zahl der Deskriptoren zu reduzieren und somit die Bearbeitungszeit zu verringern (sowohl bei der Erstellung als auch bei der Suchanfrage), löscht man aus dem Index so genannte Stoppworte (inhaltsleere Wörter) heraus.

Dieses Verfahren ist relativ einfach zu implementieren, aber (abgesehen von trunkierten Wortformen – wenn im Suchsystem implementiert) nicht sehr "intelligent".


Morphologisch-lexikalische Verfahren

Das morphologisch-lexikalische Verfahren wird eingesetzt, um den bei der Trunkierung entstehenden Ballast zu reduzieren. Es bietet eine bessere Retrieval-Genauigkeit durch Computerlexika, aufgeteilt in Wortformen- und Stammlexika, die mit unterschiedlichen Arbeitsweisen vorgehen.

Wortformenlexika beinhalten alle Grundformen aller enthaltener Wörter mit den dazugehörigen grammatischen Formen (Person, Numerus, Tempus..). Dadurch wird eine morphologische Analyse, und somit eine Untersuchung von Wörtern, die nicht im Lexikon enthalten sind, überflüssig, z.B. Wortzusammensetzungen und Ableitungen.
Nur mit Stammlexika kann man neue Wörter analysieren, die noch nicht im Lexikon stehen. Auf diesem Weg und in Verbindung mit einer syntaktischen Analyse lassen sich auch Mehrwortbegriffe mit einbeziehen (wie "natürliche Person"). Lexikalische Systeme sind flexibler in Bezug auf neue Wörter, wie z.B. Spaßgesellschaftskonsum.


Morphosyntaktische Verfahren

Deutlich aufwendiger als das Morphologisch-lexikalische Verfahren ist das Morphosyntaktische Verfahren. Es ist allerdings auch - abgesehen vom semantischen Verfahren - das qualitativ hochwertigste Verfahren. Hierbei werden Texte geparst und eine komplette Repräsentation des Textes wird angelegt. Dann ist die Analyse von Mehrwortdeskriptoren möglich.
Teilweise ist sogar das Erkennen von Abhängigkeiten zwischen mehreren Deskriptoren möglich. Z.B.: Das Gericht verneinte einen Anspruch des Klägers auf Entschädigung (Dependenzanalyse) -> Anspruch auf Entschädigung.
Die Beseitigung von Mehrdeutigkeiten der natürlichen Sprache ist ein sehr zeitaufwendiges Problem bei der Indexierung von Texten. Doch um eine wirklich vollautomatische Indexierung zufriedenstellend betreiben zu können ist keines der aufwendigeren Verfahren wirklich praktikabel. Dies ließe sich nur durch semantische Analyse lösen. Aber trotz intensiver Forschungsbemühungen gibt es zurzeit noch keine praktikablen Ergebnisse.


Semantische Analyse

Eine semantische Analyse wäre beispielsweise von Vorteil, wenn ein Sachverhalt von mehreren Personen beschrieben wird. Erläutern verschiedene Nutzer den gleichen Sachverhalt, wählen sie dafür unterschiedliche Formulierungen. Die sogenannten Rollenindikatoren trennen hier mit Hilfe der semantischen Analyse Subjekt, Objekt und Handlung von den Deskriptoren. Ein und derselbe Sachverhalt kann je nach Situation ganz verschieden formuliert werden, sollte aber, um diesen Sachverhalt abfragen zu können, in eine einzige schlüssige semantische Repräsentation überführt werden. Zum besseren Verständnis folgt hier ein Beispiel aus dem virtuellen Handbuch der Informationswissenschaft, das ursprünglich in der DIN 31 623 Teil 3 aufgeführt wurde:

"Der Einsatz von Pferden zum Schleppen von Baumstämmen"

Die Formulierung dieses Sachverhalts kann fast beliebig variiert werden:

Pferde schleppen Baumstämme
Pferde können Baumstämme schleppen
Baumstämme können von Pferden geschleppt werden
das Schleppen von Baumstämmen durch Pferde
Pferde, die Baumstämme schleppen können

Im Grunde handelt es sich immer um den gleichen Sachverhalt:

Rollenindikator Deskriptor
Subjekt (Handelnder) Pferd
Handlung Schleppen
Objekt Baumstamm








Es gibt Forschungsansätze wie z.B. AIR-PHYS von der TH Darmstadt oder CTX der informationswissenschaftlichen Fakultät der Universität des Saarlandes. Alle haben jedoch ähnliche Probleme wie z.B.: hoher Aufwand für die Lexikonpflege, Mehrdeutigkeiten, Performanceprobleme, Bedienungsprobleme, etc.
Das Produkt PASSAT von Siemens findet bereits erfolgreichen Einsatz.

Thesaurusrelation
Auch Thesauri werden bei der automatischen Indexierung angewendet. Durch sie werden die semantischen Beziehungen verschiedener Begriffe zueinander festgehalten. Das heißt, dass auch Begriffe, die nicht im Text stehen, aber trotzdem das Dokument sehr gut beschreiben, als Deskriptoren zur Verfügung stehen können.

Quellen

  • DIN 31 623
  • Knorz, G. (1994), Automatische Indexierung. In: Hennings, R.-D.; Knorz, G.; Manecke, H.-J.; Reinicke, W.; Schwandt, J.: Wissensrepräsentation und Information Retrieval. Universität Potsdam, Informationswissenschaft, Modellversuch BETID, Lehrmaterialien Nr. 3, Kapitel 4, S. 138 - 196. Online verfügbar unter: http://fiz1.fh-potsdam.de/volltext/fhdarmstadt/03003.html last visited 5.11.05
  • Knorz, G. (2004): Informationsaufbereitung II: Indexieren. In: Kuhlen/Seeger/Strauch (Hrsg.): Grundlagen der praktischen Information und Dokumentation, Kap B5, S. 179-188
  • Luckhardt, Heinz-Dirk: Automatisches und intellektuelles Indexieren: Virtuelles Handbuch der Informationswissenschaft, Abschnitte 0.-3.4.2. Online verfügbar unter: http://is.uni-sb.de/studium/handbuch/exkurs.ind.html last visited 5.11.05