Die Continuous Query Language (CQL) ist eine deklarative Anfragesprache für Datenströme in Data Stream Management Systemen. Sie stellt eine Erweiterung der Structured Query Language (SQL) dar. Die CQL wird im Rahmen des STREAM-Projekts an der Stanford University entwickelt. Als Teil eines Forschungsprojektes ist sie noch in der Entwicklung begriffen und nicht offiziell standardisiert. Ob sich CQL als einheitliche Anfragesprache für Datenströme durchsetzen wird, ist offen (siehe Bewertung).
Bestandteile
Die wesentliche Erweiterung von CQL zu SQL besteht darin, dass zusätzlich zu Relationen auch Datenströme als Datentypen existieren. Datenströme lassen sich als potentiell unendliche Folge von Zeit-Wertepaaren auffassen. Für die Umwandlung zwischen Strömen und Relationen (siehe Abbildung) gibt es zwei verschiedene Arten von Operatoren.
Zur Umwandlung von Strömen in Relationen ist dies
- der Fenster-Operator
[...]
und zur Umwandlung von Relationen in Ströme
- der Insert-Stream-Operator
ISTREAM - der Delete-Stream-Operator
DSTREAM - der Relation-Stream-Operator
RSTREAM
Zusätzlich gibt es den Stichproben-Operator SAMPLE für die Auswahl aus einem Datenstrom. Für die Transformation zwischen Relationen können die herkömmlichen Operatoren aus SQL verwendet werden. Die Umwandlung von Strömen in andere Ströme findet über den Umweg von Relationen statt. Die Operatoren sind weiter unten im einzelnen erklärt.
Beispiele
Es werden kontinuierlich Wetterdaten gemessen, die als Datenstrom in einer Applikation ankommen. Der folgende CQL-Ausdruck liefert mit Hilfe eines Fenster-Operators die Durchschnittstemperatur der letzten 24 Stunden:
SELECT AVG(Temperatur) FROM Wetter [Range 1 Day]
Da es sich um eine kontinuierliche Anfrage handelt, wird diese per Istream standardmäßig wieder in einen Datenstrom umgewandelt. Die vollständige Anfrage lautet also:
SELECT ISTREAM(AVG(Temperatur) FROM Wetter [Range 1 Day])
In eine anderen Datenbank werden von einem Blitzortungssystem erkannte Blitze mit ihren Koordinaten eingetragen. Folgende Anfrage erzeugt daraus einen Datenstrom:
SELECT ISTREAM(position) FROM Blitz
In Kombination mit weiteren Daten lässt sich beispielsweise ein Datenstrom von Blitzen in ausgewählten Gebieten erzeugen und als aktuelle Blitzwarnung ausgeben.
Die Operatoren im Einzelnen
Fenster
Zur Umwandlung von Strömen in Relationen wird ein Fenster definiert. Die Syntax dafür ist
S [W] wobei S ein Strom und W ein Fenster ist. Das Fenster kann durch einen Zeitraum oder durch eine Anzahl von Tupeln angegeben werden:
[Rows 100]liefert beispielsweise die jeweils 100 letzten Tupel[Range 5 Seconds]liefert beispielsweise die Tupel der letzten 5 Sekunden
Wird kein Fenster angegeben, so wird [∞] angenommen, das heißt die Relation enthält alle Tupel aus dem Datenstrom bis zum aktuellen Zeitpunkt. Zusätzlich kann eine Beschränkung durch eine WHERE-Klausel und bei durch Tupelanzahl-basierten Fenstern eine Gruppierung mit PARTITION BY angegeben werden.
In folgendem Beispiel sei eine Strom „Bestellung“ mit den die Attributen „Kunde“ und „Zahlungsart“ gegeben. Folgende Anfrage liefert jeweils die 5 letzten Bestellungen eines jeden Kunden, der mit Kreditkarte gezahlt hat.
SELECT * FROM Bestellungen B
[PARTITION BY B.Kunde ROWS 5 WHERE B.Zahlungsart = 'Kreditkarte']
In Verbindung mit dem RSTREAM-Operator sind zusätzlich die Schlüsselwörter NOW und SLIDE möglich (siehe dort).
Insert-Stream
Mit dem ISTREAM-Operator wird aus einer Relation ein Datenstrom erstellt, bei dem jedesmal, wenn ein Tupel in die Relation eingefügt wird, eine Kopie an den Datenstrom gesandt wird – allerdings nur, wenn es sich bei den eingefügten Tupeln nicht um Duplikate handelt. Die folgende Anfrage liefert mit jeder neuen Bestellung die Anzahl der Bestellungen innerhalb der letzten Stunde:
SELECT ISTREAM(COUNT(*)) From Bestellungen B [Range 1 Hour]
Delete-Stream
Mit dem DSTREAM-Operator wird aus einer Relation ein Datenstrom erstellt, bei dem jedesmal, wenn ein Tupel aus einer Relation entfernt wird, dieses Tupel an den Datenstrom gesandt wird. Die folgende Anfrage liefert die gelöschten Kunden als Datenstrom:
DSTREAM (SELECT * FROM Kunden)
Relation-Stream
Der RSTREAM Operator wandelt eine gesamte Relation (beispielsweise eine gesamte Datenbanktabelle) in einen Datenstrom um, das heisst alle Tupel, die zum gegenwärtigen Zeitpunkt in der Relation enthalten sind, werden an den Datenstrom gesandt.
Das Schlüsselwort NOW für die Länge eines Fensters liefert in Verbindung mit dem RSTREAM-Operator den aktuellen Wert. In folgendem Beispiel seien zwei Ströme Verbindungsaufbau und Verbindungsende gegeben, die jeweils den Anfang und das Ende einer Kommunikationsverbindung liefern. Die folgende Anfrage liefert fortlaufend alle abgeschlossenen Verbindungen, die höchstens 5 Minuten gedauert haben.
SELECT RSTREAM(A.*)FROM Verbindungsaufbau [Range 5 Minutes] A, Verbindungsende [Now] EWHERE A.id = E.id
Mit dem Schlüsselwort SLIDE kann für ein Fenster angegeben werden, wie oft es aktualisiert werden soll. Die folgende Anfrage liefert beispielsweise täglich das gleitende Monatsmittel der gesamten Bestellsumme aus einem Strom von Bestellungen:
SELECT RSTREAM( AVG(B.Summe) ) FROM Bestellungen B [Range 1 Year Slide 1 Month]
Samples
Um eine zufällige Auswahl aus einem Stream zu bekommen, gibt es den SAMPLE-Operator, dem eine Prozentzahl übergeben wird. Beispielsweise filtert die Anfrage SELECT * FROM T SAMPLE(10) aus dem Stream T jedes Element mit einer Wahrscheinlichkeit von 90% heraus, so dass im Durchschnitt nur jedes zehnte in den Ergebnisstrom übernommen wird.
Bewertung
Die die Entwicklung von CQL an das STREAM-Projekt gebunden ist und die DSMS-Entwicklung noch ein relativ neues Forschungsgebiet darstellt, ist unklar, ob sich CQL als einheitliche Anfragesprache für Datenströme durchsetzen wird. Ein wesentlicher Vorteil der CQL ist, dass sie direkt auf SQL aufbaut und die Anfragen deklarativ formuliert werden können. Dies setzt jedoch im DSMS effiziente Verfahren zur Umformulierung der Anfrage in einen Anfrageplan aus.
Mit STREAM konkurrierende Systeme verwenden entweder direkt ein imperatives Modell zur Formulierung von Anfragen (beispielsweise Aurora/Borealis) oder besitzen eine mit CQL vergleichbare Syntax (TelegraphCQ) beziehungsweise ermöglichen prinzipiell auch die Ausführung von CQL-Anfragen (PIPES).
Die Verarbeitung von Anfragen über XML-Datenströmen stellt ein eigenes Forschungsgebiet dar, in dessen Rahmen auf XPath statt auf SQL aufbauende Anfragesprachen entwickelt werden.
Weblinks
- Stanford Stream Data Manager (STREAM)
- CQL-Einführung aus STREAM
- CQL-Spezifikation für STREAM (enthält noch nicht alle hier beschriebenen Features)
- Stream Query Repository - eine Sammlung von Anfragen in CQL
Literatur
- Arvind Arasu, Shivnath Babu, Jennifer Widom: The CQL Continuous Query Language: Semantic Foundations and Query Execution. Stanford, 2003 (Technical Report)
- Rajeev Motwani, Jennifer Widom, Arvind Arasu, Brian Babcock, Shivnath Babu, Mayur Datar, Gurmeet Manku, Chris Olston, Justin Rosenstein und Rohit Varma: Query Processing, Resource Management, and Approximation in a Data Stream Management System. Stanford, 2002 (CIDR 2003)
