Wikipedia:Redaktion Biologie/Bestimmung und Vektorraum-Retrieval: Unterschied zwischen den Seiten

Das Vektorraum-Retrieval (engl.: Vector Space Model (VSM)) ist ein Verfahren des Information Retrieval, bei dem Dokumente und Suchanfragen als Punkte in einem hochdimensionalen, metrischen Vektorraum repräsentiert sind. Zum Retrieval wird die Distanz zwischen dem Queryvektor und dem Dokumentvektor genutzt. Das Vektorraummodell wurde erstmals im SMART-System implementiert, das unter der Leitung von Gerard Salton an der Cornell University entwickelt wurde.

Vereinfachte Beschreibung

Stark vereinfacht kann man sich das dem Vektorraum-Retrieval zugrundeliegende Modell so vorstellen, dass jedem Wort der Sprache des Dokumentes eine Dimension zugeordnet wird. Um den Punkt eines Dokumentes (oder einer Anfrage) in diesem Vektorraum zu bestimmen, kann in einer sehr einfachen Variante des Vektorraum-Modells beispielsweise gezählt werden, welches Wort wie oft im Dokument auftritt. Der Punkt des Dokumentes im Vektorraum (der Dokumentenvektor) entspricht dann den Häufigkeiten dieser Wörter. Beispielsweise könnte man somit das aus einem Satz bestehende Dokument „Die Explosion zerstört die Vegetation“ als Vektor (0,…,2,…,1,…,1,…,1,…) beschreiben: Das Wort die tritt zweimal auf, Explosion, zerstört und Vegetation jemals einmal; sonstige Wörter treten nicht (0 mal) auf.

Suchanfragen lassen sich auf dieselbe Weise kodieren; eine fiktive Suchanfrage „Zerstört die Explosion die Vegetation?“ entspräche wegen der gleichen Wortverteilung in diesem Fall genau demselben (Anfrage-)vektor (0,…,2,…,1,…,1,…,1,…). Das Finden von Dokumenten, die möglichst gut mit der Suchanfrage übereinstimmen, kann man daher mit Hilfe des Vektorraummodelles so lösen, dass man diejenigen Dokumente sucht, deren Vektor möglichst „ähnlich“ zum Vektor der Suchanfrage ist. Eine einfache Möglichkeit könnte beispielsweise sein, Dokumentenvektoren zu suchen, die parallel zum Anfragevektor liegen oder nur um einen kleinen Winkel von ihm abweichen.

In der Realität sind Vektorraummodelle erheblich komplexer und berücksichtigen beispielsweise unterschiedliche Häufigkeiten von Wörtern: „die“ oder „ist“ treten beispielsweise in nahezu jedem deutschsprachigen Dokument auf und sind daher nicht sehr aussagekräftig, wohingegen seltenere Wörter wie beispielsweise „Desoxyribonukleinsäure“ seltener sind und somit potenziell besser geeignet sind, das Dokument von anderen inhaltlich abzugrenzen.

Vorgehensweise

Um Vektorraum-Retrieval zu ermöglichen, sind einige Vorarbeiten nötig. Der erste Schritt besteht in dem Aufbau eines Dokumentvektorenraumes und der Dokument-Indexierung, bei welcher die Dokumente der Dokumentmenge auf jeweils genau einen Punkt (Dokumentvektoren) im Dokumentvektorenraum abgebildet werden. Hierzu existieren eine Vielzahl von Merkmalsgewichtungsmodellen, die alle auf der Häufigkeit von Merkmalen wie Termen, Lemmata oder n-Grammen in Einzeldokumenten sowie der gesamten Dokumentmenge aufbauen.

Das Retrieval im Vektorraummodell führt zunächst eine Query-Indexierung durch, bei welcher die Anfrage auf einen Vektor im Vektorraum abgebildet wird. Die nachfolgende Retrieval-Funktion ermittelt eine Teilmenge der Dokumentvektoren, die eine bestimmte Ähnlichkeit bezüglich dem Queryvektor besitzen, und die Rankingfunktion bildet diese Teilmenge auf eine geordnete Liste von Dokumentvektoren ab. Dem Nutzer, welcher die Query gestellt hat, wird eine Liste von Dokumenten präsentiert, welche mit der Liste der Dokumentvektoren korrespondiert.

Literatur

• Baeza-Yates, Richardo; Ribeiro-Neto, Berthier: Modern Information Retrieval. ACM Press, New York, 1999, ISBN 0-201-39829-X.
• Ferber, Reginald: Information Retrieval - Suchmodelle und Data-Mining-Verfahren für Textsammlungen und das Web. Heidelberg, 2003, ISBN 3-89864-213-5.
• Grossman, D.A.; Frieder, O.: Information Retrieval. Springer, Niederlande, 2. Auflage, 2004, ISBN 1-4020-3004-5.
• Kowalski, Gerald; Maybury, M.T.: Information Storage and Retrieval Systems. Kluwer, Boston, 2000.
• Panyr, Jiri: Automatische Klassifikation und Information Retrieval. Tübingen, 1986.
• Panyr, Jiri: Vektorraum-Modell und Clusteranalyse in Information-Retrieval-Systemen. In: Nachrichten für Dokumentation 38, S. 13 - 20, 1987.
• Salton, Gerard; McGill, M.J.: Information Retrieval. MacGraw-Hill, 1987.

Siehe auch

• Zipfsches Gesetz
• Suchmaschine
• Stemming
• Latent Semantic Indexing