Flowlogs

Flow Logs sind Protokolldaten über Netzwerkflüsse, die technische Metadaten zu Kommunikationsbeziehungen in Rechnernetzen erfassen. Sie beschreiben typischerweise, welche Quell- und Zieladressen über welche Ports und Protokolle innerhalb eines bestimmten Zeitraums miteinander kommuniziert haben. Flow Logs enthalten in der Regel keine Nutzdaten einzelner Pakete, sondern zusammengefasste Verbindungsinformationen wie Zeitstempel, Paket- und Byte-Zähler sowie gegebenenfalls eine Entscheidung der Netzwerkfilterung, etwa ob Datenverkehr akzeptiert oder verworfen wurde.

Flow Logs werden in physischen, virtuellen und cloudbasierten Netzwerken eingesetzt. In Cloud-Umgebungen werden sie unter anderem von Anbietern wie Amazon Web Services, Microsoft Azure, Google Cloud Platform, Oracle Cloud Infrastructure, IBM Cloud und Alibaba Cloud bereitgestellt. Konzeptionell stehen sie klassischen Netzwerkflussverfahren wie NetFlow, sFlow und IPFIX nahe, sind jedoch häufig direkt in virtuelle Netzwerke, Subnetze, Netzwerkschnittstellen oder Cloud-Gateways integriert.

Sie dienen vor allem der Netzwerküberwachung, Netzwerkdiagnose, Sicherheitsanalyse, forensischen Untersuchung, Kapazitätsplanung und Compliance-Dokumentation. Da sie Kommunikationsmuster sichtbar machen, ohne vollständige Paketmitschnitte zu speichern, bilden Flow Logs einen verbreiteten Kompromiss zwischen Beobachtbarkeit, Datenvolumen und Datenschutzanforderungen.

Relevanz

Flow Logs sind für den Betrieb moderner IT-Infrastrukturen relevant, weil Netzwerkpfade in virtualisierten und cloudbasierten Umgebungen häufig dynamisch sind. Virtuelle Maschinen, Container, Load Balancer, Gateways und serverlose Dienste können kurzfristig erstellt, verändert oder entfernt werden. Für Systemadministratoren, Netzwerkteams und Sicherheitsteams ist es daher wichtig, nachvollziehen zu können, welche Systeme miteinander kommunizieren und an welchen Stellen Datenverkehr blockiert oder ungewöhnlich verändert wird.

In Cloud-Umgebungen ersetzen Flow Logs nicht die klassische Netzwerkdokumentation, ergänzen sie aber um laufend erhobene Beobachtungsdaten. Sie helfen unter anderem dabei, fehlerhafte Sicherheitsregeln, falsch konfigurierte Routing-Tabellen, unerwartete Verbindungen, abgelehnten Datenverkehr oder auffällige Kommunikationsmuster zu erkennen.

Die Bedeutung von Flow Logs ergibt sich außerdem aus ihrer Nutzung in Analyse- und Sicherheitswerkzeugen. Cloud-native Monitoring-Dienste, SIEM-Systeme, Network-Detection-and-Response-Plattformen und Observability-Werkzeuge können Flow-Log-Daten auswerten, korrelieren und visualisieren, um sicherheitsrelevante Ereignisse oder betriebliche Probleme zu identifizieren.

Begriff und Einordnung

Ein Netzwerkfluss beschreibt eine Kommunikationsbeziehung zwischen zwei Endpunkten über einen bestimmten Zeitraum. Typische Merkmale eines solchen Flusses sind Quell-IP-Adresse, Ziel-IP-Adresse, Quellport, Zielport, Transportprotokoll und Zeitintervall. Flow Logs speichern solche Merkmale als Protokolldatensätze und ordnen sie häufig weiteren Kontextinformationen zu, etwa einer Netzwerkschnittstelle, einem virtuellen Netzwerk, einem Subnetz, einem Mandanten oder einem Cloud-Konto.

Im Unterschied zu Paketmitschnitten, etwa mit tcpdump oder Wireshark, enthalten Flow Logs keine vollständigen Paketinhalte. Stattdessen werden Verkehrsdaten zusammengefasst. Dadurch ist das Datenvolumen geringer als bei vollständigen Paketmitschnitten. Gleichzeitig lassen sich übertragene Inhalte nicht rekonstruieren. Flow Logs eignen sich daher eher zur Analyse von Kommunikationsbeziehungen, Volumina und Filterentscheidungen als zur detaillierten Untersuchung einzelner Protokollabläufe.

Von klassischen Netzwerkflussverfahren wie NetFlow, sFlow und IPFIX unterscheiden sich cloudbasierte Flow Logs vor allem durch ihre Erzeugungsorte und Verwaltungsmodelle. Während NetFlow oder IPFIX typischerweise auf Routern, Switches oder Firewalls erzeugt werden, entstehen cloudbasierte Flow Logs innerhalb der virtualisierten Netzwerkschicht eines Cloud-Anbieters oder an logisch definierten Ressourcen wie virtuellen Netzwerken, Subnetzen und Netzwerkschnittstellen.

Funktionsweise

Flow Logs werden auf einer definierten Bezugsebene aktiviert. Je nach System können dies beispielsweise sein:

• ein virtuelles Netzwerk oder eine Virtual Private Cloud,
• ein Subnetz,
• eine virtuelle oder physische Netzwerkschnittstelle,
• ein Gateway, Transit Gateway oder Peering-Übergang,
• eine Firewall, ein Router oder ein Load Balancer,
• eine Network Security Group oder eine vergleichbare Filterinstanz.

Nach der Aktivierung erzeugt das jeweilige System in regelmäßigen Aggregationsintervallen Flow-Log-Datensätze. Diese Datensätze enthalten zusammengefasste Informationen über beobachteten Netzwerkverkehr. Je nach Implementierung werden alle Flüsse erfasst oder nur Stichproben gespeichert. Manche Anbieter erlauben die Auswahl einzelner Felder, Filterregeln oder Aggregationsintervalle.

Die erzeugten Datensätze werden anschließend an ein Speicher- oder Analysesystem übergeben. Häufige Ziele sind:

• Log-Management-Systeme,
• Objektspeicher,
• Streaming- oder Message-Dienste,
• Data Warehouses und Abfragedienste,
• SIEM- und Sicherheitsplattformen,
• Observability- und Monitoring-Systeme.

Die Auswertung erfolgt häufig über Abfragesprachen, Dashboards, Zeitreihenanalysen, Alarme oder graphbasierte Darstellungen von Kommunikationsbeziehungen. In Cloud-Umgebungen werden Flow Logs oft mit weiteren Quellen wie Metriken, Audit-Logs, Routinginformationen, Inventardaten oder Sicherheitsereignissen korreliert.

Aufbau eines Flow-Log-Datensatzes

Ein Flow-Log-Datensatz besteht aus mehreren Feldern. Die genaue Struktur hängt vom Anbieter, vom gewählten Format und von der Version des Protokolls ab. Ein typischer Datensatz kann folgende Informationen enthalten:

Feldtyp	Bedeutung
Format- oder Versionsangabe	Kennzeichnung des verwendeten Flow-Log-Formats
Ressourcen- oder Mandantenkennung	Zuordnung zu Konto, Projekt, Abonnement, Netzwerk, Schnittstelle oder anderer Ressource
Quelladresse	IP-Adresse oder Netzadresse des sendenden Endpunkts
Zieladresse	IP-Adresse oder Netzadresse des empfangenden Endpunkts
Quellport	Transportport des sendenden Endpunkts, soweit anwendbar
Zielport	Transportport des empfangenden Endpunkts, soweit anwendbar
Protokoll	IP- oder Transportprotokoll, etwa TCP, UDP oder ICMP
Zeitangaben	Beginn und Ende des Beobachtungs- oder Aggregationsintervalls
Paketanzahl	Anzahl der beobachteten Pakete im Intervall
Byteanzahl	Anzahl der übertragenen Bytes im Intervall
Richtung	Einordnung als eingehender, ausgehender oder interner Datenverkehr
Filterentscheidung	Information darüber, ob der Datenverkehr erlaubt, verworfen oder anderweitig behandelt wurde
Protokollstatus	Status der Protokollerstellung oder Hinweis auf unvollständige Daten

Beispiel für einen vereinfachten, herstellerneutralen Flow-Log-Eintrag:

v1 net-01 10.0.1.10 10.0.2.20 44321 443 TCP 12 8400 1715100000 1715100060 ACCEPT OK

Dieser Datensatz beschreibt eine TCP-Kommunikation von der Adresse 10.0.1.10 zur Adresse 10.0.2.20 über Zielport 443. Innerhalb des Aggregationsintervalls wurden 12 Pakete mit insgesamt 8400 Bytes übertragen. Die Verbindung wurde laut Filterentscheidung akzeptiert.

Wissenschaftliche Betrachtung

Aus wissenschaftlicher Sicht gehören Flow Logs zur passiven Netzwerkmessung. Sie beobachten Kommunikationsvorgänge, ohne aktiv in den Datenverkehr einzugreifen. Die erfassten Daten können als zeitlich geordnete Ereignisse in einem verteilten System betrachtet werden.

Kommunikationsbeziehungen lassen sich beispielsweise als gerichteter Graph modellieren. Dabei bilden IP-Adressen, Instanzen, Container, Dienste oder Netzwerkschnittstellen die Knoten, während beobachtete Verbindungen als Kanten dargestellt werden. Auf diese Weise können Kommunikationsmuster, Abhängigkeiten zwischen Systemen oder ungewöhnliche Verbindungen sichtbar gemacht werden.

Ein Flow-Log-Datensatz kann formal als Tupel beschrieben werden:

$f=(s,d,p_{s},p_{d},\pi ,t_{0},t_{1},b,n,a)$

Dabei bezeichnet:

• $s$ die Quelladresse,
• $d$ die Zieladresse,
• $p_{s}$ den Quellport,
• $p_{d}$ den Zielport,
• $\pi$ das Transportprotokoll,
• $t_{0}$ den Startzeitpunkt,
• $t_{1}$ den Endzeitpunkt,
• $b$ die Anzahl der Bytes,
• $n$ die Anzahl der Pakete,
• $a$ die beobachtete Netzwerkentscheidung, etwa ACCEPT oder REJECT.

Durch die Auswertung vieler solcher Datensätze können statistische Kennzahlen abgeleitet werden, etwa Datenvolumen pro Dienst, häufig genutzte Ports, ungewöhnliche Kommunikationspartner oder das Verhältnis von akzeptierten zu abgelehnten Verbindungen. Flow Logs können daher für Anomalieerkennung, Zeitreihenanalyse, Graphentheorie und Netzwerksicherheit genutzt werden.

Einsatzgebiete

Netzwerkdiagnose

Flow Logs werden verwendet, um fehlerhafte oder unerwartete Netzwerkkommunikation zu untersuchen. Beispielsweise kann analysiert werden, ob Datenverkehr durch Sicherheitsgruppen, Firewalls, Network Access Control Lists oder Routingregeln akzeptiert oder abgelehnt wurde. Dadurch lassen sich Konfigurationsfehler in Routing-Tabellen, Firewall-Regeln, Subnetzarchitekturen oder Gateway-Konfigurationen schneller identifizieren.

Sicherheitsüberwachung

In der Sicherheitsanalyse dienen Flow Logs zur Erkennung verdächtiger Kommunikationsmuster. Dazu zählen etwa:

• ungewöhnliche ausgehende Verbindungen,
• Port-Scanning,
• Kommunikation mit bekannten schädlichen IP-Adressen,
• laterale Bewegung innerhalb eines Netzwerks,
• unerwarteter Datenabfluss,
• Verbindungen zwischen Sicherheitszonen, die nicht vorgesehen sind.

Einige Cloud- und Sicherheitsdienste nutzen Flow-Log-Daten als eine von mehreren Datenquellen, um Bedrohungen automatisiert zu erkennen. Ein Beispiel ist Amazon GuardDuty, das unter anderem Netzwerk- und Kontodaten auswertet.

Compliance und Forensik

In regulierten Umgebungen können Flow Logs zur Nachvollziehbarkeit von Netzwerkkommunikation beitragen. Sie ermöglichen es, historische Kommunikationsbeziehungen zu rekonstruieren, ohne vollständige Paketdaten speichern zu müssen. Dies ist insbesondere in Bereichen wie Finanzdienstleistungen, Gesundheitswesen, öffentlicher Verwaltung oder kritischen Infrastrukturen relevant.

Kosten- und Kapazitätsanalyse

Durch die Analyse von Byte- und Paketvolumen lassen sich stark genutzte Kommunikationspfade identifizieren. Dies kann für Kapazitätsplanung, Kostenoptimierung und Architekturentscheidungen genutzt werden, beispielsweise bei der Bewertung von Datenverkehr über NAT-Gateways, Transit-Gateways, Load Balancer, Peering-Verbindungen oder regionsübergreifende Verbindungen.

Einschränkungen

Flow Logs besitzen mehrere technische Einschränkungen, die je nach Anbieter und Implementierung unterschiedlich ausgeprägt sind:

• Sie erfassen in der Regel keine Nutzdaten von Paketen.
• Sie ersetzen keinen vollständigen Paketmitschnitt.
• Sie sind nicht für Echtzeitanalysen auf Paketebene ausgelegt.
• Die Daten werden häufig in Zeitintervallen zusammengefasst und bilden nicht jedes einzelne Paketereignis ab.
• Manche Implementierungen verwenden Sampling oder erfassen bestimmte Verkehrsarten nicht vollständig.
• Interner Plattform- oder Steuerungsverkehr kann nicht oder nur eingeschränkt sichtbar sein.
• Große Mengen an Flow-Log-Daten können zusätzliche Speicher- und Analysekosten verursachen.
• Die Auswertung setzt Kenntnisse der jeweiligen Netzwerkarchitektur und Ressourcenmodellierung voraus.

Flow Logs sind daher vor allem ein Werkzeug zur Analyse von Metadaten. Für tiefgehende Netzwerkforensik, Protokolldebugging oder Inhaltsanalyse können zusätzliche Werkzeuge wie Paketmitschnitte, Host-Logs, Anwendungslogs oder Endpoint-Telemetrie erforderlich sein.

Vergleich mit Netzwerkflussverfahren und Paketmitschnitten

Flow Logs ähneln klassischen Verfahren wie NetFlow, sFlow und IPFIX. Sie unterscheiden sich jedoch häufig durch ihre Einbettung in Cloud- oder Virtualisierungsplattformen und durch die Art der bereitgestellten Kontextinformationen.

Merkmal	Flow Logs	NetFlow/IPFIX	Paketmitschnitt
Dateninhalt	Metadaten über Netzwerkflüsse, häufig mit Ressourcenbezug	Metadaten über Netzwerkflüsse	Vollständige oder teilweise Paketinhalte
Typischer Erzeugungsort	Virtuelles Netzwerk, Subnetz, Schnittstelle, Gateway oder Cloud-Dienst	Router, Switch, Firewall oder Flow Collector	Netzwerkinterface, TAP, SPAN-Port oder Host
Datenmenge	Mittel	Mittel	Hoch
Nutzdaten sichtbar	Nein	Nein	Ja, sofern nicht verschlüsselt und vollständig erfasst
Typische Nutzung	Cloud-Sicherheit, Diagnose, Compliance, Kostenanalyse	Netzwerkmonitoring, Kapazitätsplanung, Traffic Engineering	Tiefenanalyse, Protokolldebugging, Forensik

Cloudbasierte Anbieter und Implementierungen

Mehrere große Cloud-Anbieter stellen Dienste zur Erfassung von Netzwerkflussdaten bereit. Die Dienste unterscheiden sich in Bezugsebene, Feldformat, Exportzielen, Sampling, Aufbewahrung und Integration in Analysewerkzeuge.

Amazon Web Services

Amazon Web Services bietet mit Amazon VPC Flow Logs einen Dienst zur Erfassung von IP-Verkehrsmetadaten in VPCs, Subnetzen und Elastic Network Interfaces. Zusätzlich existieren Transit Gateway Flow Logs für Transit Gateways. Als Ziele können unter anderem Amazon CloudWatch Logs, Amazon S3 und Amazon Kinesis Data Firehose verwendet werden.

Microsoft Azure

In Microsoft Azure existieren beziehungsweise existierten Network Security Group Flow Logs als Bestandteil von Azure Network Watcher. Diese protokollieren IP-Datenverkehr, der durch Network Security Groups erlaubt oder verweigert wird. Microsoft empfiehlt zunehmend die Verwendung von Virtual Network Flow Logs, die eine umfassendere Form der Netzwerkflussprotokollierung in Azure darstellen.

Google Cloud

Google Cloud Platform stellt mit VPC Flow Logs einen Dienst zur Erfassung von Netzwerkflüssen in VPC-Subnetzen bereit. Die Daten können unter anderem in Google Cloud Logging und BigQuery analysiert werden. Ein besonderes Merkmal ist die Möglichkeit, Sampling-Rate und Metadatenumfang zu konfigurieren.

Oracle Cloud Infrastructure

Oracle Cloud Infrastructure bietet VCN Flow Logs für Virtual Cloud Networks. Diese erfassen Informationen über akzeptierten und abgelehnten Netzwerkverkehr innerhalb eines Oracle-Cloud-Netzwerks.

IBM Cloud

IBM Cloud bietet für Virtual-Private-Cloud-Umgebungen Flow-Log-Funktionalitäten zur Erfassung und Analyse von Netzwerkverkehr. Diese können zur Überwachung, Sicherheitsanalyse und Fehlerdiagnose eingesetzt werden.

Alibaba Cloud

Alibaba Cloud stellt mit Flow Log einen Dienst innerhalb der Virtual Private Cloud bereit. Er protokolliert Verkehrsinformationen von Elastic Network Interfaces, VSwitches und VPCs und kann mit Log Service integriert werden.

Vergleich cloudbasierter Flow-Log-Dienste

Anbieter	Dienst	Bezugsebene	Typische Analyseziele
Amazon Web Services	VPC Flow Logs, Transit Gateway Flow Logs	VPC, Subnetz, Netzwerkschnittstelle, Transit Gateway	Sicherheitsanalyse, Netzwerkdiagnose, Compliance, Kostenanalyse
Microsoft Azure	Virtual Network Flow Logs, NSG Flow Logs	Virtuelles Netzwerk, Network Security Group	Sicherheitsanalyse, Diagnose, Traffic Analytics
Google Cloud	VPC Flow Logs	VPC-Subnetz	Monitoring, BigQuery-Analyse, Sicherheit
Oracle Cloud Infrastructure	VCN Flow Logs	Virtual Cloud Network	Netzwerküberwachung, Sicherheitsanalyse
IBM Cloud	VPC Flow Logs	Virtual Private Cloud	Diagnose, Sicherheit, Auditierung
Alibaba Cloud	Flow Log	VPC, VSwitch, Elastic Network Interface	Netzwerkmonitoring, Fehleranalyse, Sicherheit

Datenschutz und Sicherheit

Da Flow Logs IP-Adressen, Ports, Kommunikationszeitpunkte und teilweise Ressourcenkennungen enthalten, können sie personenbezogene oder sicherheitsrelevante Informationen umfassen. Besonders in Unternehmensumgebungen ist daher eine angemessene Zugriffskontrolle erforderlich. Je nach Plattform können Berechtigungen, Verschlüsselung, Aufbewahrungsfristen, Lifecycle-Regeln, Löschkonzepte und Zugriffsauswertungen eingesetzt werden.

Aus datenschutzrechtlicher Perspektive sind Flow Logs häufig als Verkehrsdaten zu betrachten. Obwohl sie keine Inhaltsdaten enthalten, können sie Rückschlüsse auf Kommunikationsverhalten, Dienste, Organisationsstrukturen und technische Abhängigkeiten ermöglichen. In regulierten Umgebungen sollten daher Zweckbindung, Aufbewahrungsdauer, Zugriffskreise und Auswertungsverfahren dokumentiert werden.

Bedeutung für Cloud-native Architekturen

In Cloud-native-Architekturen ändern sich Netzwerkpfade häufig. Instanzen, Container, Load Balancer, verwaltete Datenbanken und serverlose Komponenten können dynamisch erstellt oder entfernt werden. Flow Logs machen diese Kommunikationsbeziehungen sichtbar und ergänzen damit Metriken, Traces und Anwendungslogs im Rahmen moderner Observability-Konzepte.

Besonders bei Microservices, hybriden Netzwerken, Multi-Account-Architekturen und Zero-Trust-Konzepten können Flow Logs helfen, Abhängigkeiten zwischen Diensten zu erkennen, Sicherheitsgrenzen zu überprüfen und unerwartete Verbindungen zu untersuchen.

Werkzeuge zur Auswertung von Flow Logs

Neben den nativen Analysefunktionen der Cloud-Anbieter existieren spezialisierte Unternehmen und Plattformen, die Flow Logs auswerten, korrelieren, visualisieren oder für Sicherheits- und Betriebsanalysen nutzbar machen. Solche Systeme verarbeiten typischerweise Flow-Daten aus Quellen wie Amazon VPC Flow Logs, Microsoft Azure Virtual Network Flow Logs, Google Cloud VPC Flow Logs, NetFlow, IPFIX oder sFlow. Je nach Produkt liegt der Schwerpunkt auf Netzwerk-Troubleshooting, Visualisierung, Sicherheitsanalyse, Service-Provider-Monitoring, Kostenanalyse oder Observability.

Produkt	Primärer Schwerpunkt	Zielgruppe	Typische Funktion
Cisco Secure Cloud Analytics / Cisco Secure Network Analytics	Security, Anomalieerkennung und Network Detection and Response	Security-Teams und Netzwerkbetrieb	Auswertung von Cloud-Flow-Logs und Netzwerk-Telemetriedaten
Kentik	Service-Provider- und Netzwerkanalyse	Carrier, Internetdienstanbieter und große Enterprise-Netzwerke	Kombination von Flow-Daten, Routingdaten und Netzwerktelemetrie
Datadog Cloud Network Monitoring	Cloud-native Observability	DevOps-, Plattform- und SRE-Teams	Korrelation von Netzwerkdaten mit Metriken, Logs und Traces
Splunk	Security und SIEM	Security Operations Center und Compliance-Teams	Suche, Korrelation und forensische Analyse großer Datenmengen
IsarFlow	Troubleshooting und Visualisierung	Cloud- und Netzwerkteams	Grafische Analyse von Kommunikationsbeziehungen und Fehlerursachen
Elastic Observability / Elastic Security	Suche, Dashboards und Security Analytics	IT-Betrieb, Security-Teams und Plattformteams	Analyseplattform für Logs, Flow Logs und Sicherheitsdaten

Siehe auch

• Netzwerkfluss
• NetFlow
• IPFIX
• Security Information and Event Management
• Cloud Computing

Literatur

• Richard Bejtlich: The Practice of Network Security Monitoring. No Starch Press, 2013.
• Joseph Muniz, Aamir Lakhani: Web Penetration Testing with Kali Linux. Packt Publishing, 2013.
• Kurose, James F.; Ross, Keith W.: Computer Networking: A Top-Down Approach. Pearson.