Author Archiv: Tobias Schaller

Sicherstellung der Leistungsresistenz durch Deduplizierung

Leistungsresistenz ist die Fähigkeit, die Leistung Ihres kommerziellen oder selbstgebauten Geräts in jeder Rechenzentrumsumgebung zu gewährleisten. Mit anderen Worten, um sicherzustellen, dass Ihre Performance-Überwachung, Cybersicherheits- oder Forensik-Appliance widerstandsfähig gegen häufige Probleme im Rechenzentrum ist, wie z.B. schlecht konfigurierte Netzwerke, Unfähigkeit, den gewünschten Verbindungstyp anzugeben, Zeitsynchronisation, Leistung, Platz usw.

 

In diesem Blog werden wir uns mit der Deduplizierung befassen und wie die Unterstützung der Deduplizierung in Ihrer SmartNIC die Leistungsresistenz sicherstellt, wenn Rechenzentrumsumgebungen nicht richtig konfiguriert sind – speziell Router und Switch SPAN-Ports.

 

Nehmen wir das Schlimmste an

 

Bei der Entwicklung einer Appliance zur Analyse von Netzwerkdaten für die Überwachung von Leistung, Cybersicherheit oder Forensik ist es selbstverständlich anzunehmen, dass die Umgebungen, in denen Ihre Appliance eingesetzt wird, korrekt konfiguriert sind und den Best Practices entsprechen. Es ist auch anzunehmen, dass Sie den Zugang und die Konnektivität erhalten können, die Sie benötigen. Warum sollte sich jemand die Mühe machen, für ein kommerzielles Gerät zu bezahlen oder gar die Entwicklung eines Gerätes im eigenen Haus zu finanzieren, wenn er nicht auch dafür sorgen würde, dass die Umwelt den Mindestanforderungen entspricht?

 

Leider ist es nicht immer so, wie viele Veteranen der Geräte-Reihen Ihnen sagen werden. Denn nicht immer ist das für den Einsatz der Appliance verantwortliche Team das für den Betrieb des Rechenzentrums verantwortliche Team. Geräte sind nicht die erste Priorität. Was also in der Praxis passiert, ist, dass das Team, das die Appliance einsetzt, angewiesen wird, die Appliance an einem bestimmten Ort mit spezifischer Konnektivität zu installieren, und das ist alles. Möglicherweise bevorzugen Sie es, einen TAP zu verwenden, der jedoch möglicherweise nicht verfügbar ist, so dass Sie einen Switched Port Analyzer (SPAN)-Port von einem Switch oder Router für den Zugriff auf Netzwerkdaten verwenden müssen.

 

Während dies akzeptabel erscheinen mag, kann es zu einem unerwarteten und unerwünschten Verhalten führen, das für die grauen Haare auf den Köpfen von Veteranen verantwortlich ist! Ein Beispiel für dieses unerwünschte Verhalten sind doppelte Netzwerkpakete.

 

Wie entstehen doppelte Pakete?

 

Im Idealfall möchten Sie bei der Durchführung von Netzwerküberwachung und -analyse mit einem Fingertipp direkten Zugriff auf die Echtzeitdaten erhalten. Wie wir jedoch bereits erwähnt haben, kann man das nicht immer vorschreiben und muss sich manchmal mit der Konnektivität zu einem SPAN-Port begnügen.

 

Der Unterschied zwischen einem TAP und einem SPAN-Port besteht darin, dass ein TAP eine physikalische Vorrichtung ist, die in der Mitte der Kommunikationsverbindung installiert ist, so dass der gesamte Datenverkehr durch den TAP läuft und auf das Gerät kopiert wird. Umgekehrt empfängt ein SPAN-Port an einem Switch oder Router Kopien aller Daten, die den Switch passieren, die dann über den SPAN-Port dem Gerät zur Verfügung gestellt werden können.

 

Bei richtiger Konfiguration funktioniert ein SPAN-Port einwandfrei. Moderne Router und Switches sind besser geworden, um sicherzustellen, dass die von den SPAN-Ports bereitgestellten Daten zuverlässig sind. SPAN-Ports können jedoch so konfiguriert werden, dass sie zu doppelten Paketen führen. In einigen Fällen, in denen SPAN-Ports falsch konfiguriert sind, können bis zu 50% der vom SPAN-Port bereitgestellten Pakete Duplikate sein.

 

Also, wie passiert das? Was Sie in Bezug auf SPAN-Ports verstehen müssen, ist, dass, wenn ein Paket in den Switch an einem Eingangsport eintritt, eine Kopie erstellt wird – und wenn es den Switch an einem Ausgangsport verlässt, wird eine weitere Kopie erstellt. In diesem Fall sind Duplikate unvermeidlich. Es ist jedoch möglich, den SPAN so zu konfigurieren, dass er nur Kopien beim Eintritt oder Austritt aus dem Switch erstellt, um Duplikate zu vermeiden.

 

Dennoch ist es nicht ungewöhnlich, in einer Rechenzentrumsumgebung anzukommen, in der SPAN-Ports falsch konfiguriert sind und niemand die Berechtigung hat, die Konfiguration am Switch oder Router zu ändern. Mit anderen Worten, es wird Duplikate geben und man muss damit leben!

 

Was sind die Auswirkungen von Duplikaten?

 

Duplikate können viele Probleme verursachen. Das offensichtliche Problem ist, dass die doppelte Datenmenge die doppelte Menge an Rechenleistung, Speicher, Leistung usw. erfordert. Das Hauptproblem sind jedoch False Positives: Fehler, die nicht wirklich Fehler sind, oder Bedrohungen, die nicht wirklich Bedrohungen sind. Eine gängige Art und Weise, wie Duplikate die Analyse beeinflussen, ist eine Zunahme von TCP-Out-of-Order- oder Retransmissionswarnungen. Das Debuggen dieser Probleme nimmt viel Zeit in Anspruch, in der Regel Zeit, die ein überlastetes, unterbesetztes Netzwerkbetriebs- oder Sicherheitsteam nicht hat. Darüber hinaus ist jede Analyse, die auf der Grundlage dieser Informationen durchgeführt wird, wahrscheinlich nicht zuverlässig, so dass dies das Problem nur verschärft.

 

Wie man Resilienz erreicht

 

Mit der über eine SmartNIC in die Appliance integrierten Deduplizierung ist es möglich, bis zu 99,99% der von SPAN-Ports erzeugten doppelten Pakete zu erkennen. Ähnliche Funktionen sind bei Packet Brokern verfügbar, jedoch gegen eine beträchtliche zusätzliche Lizenzgebühr. Bei Napatech SmartNICs ist dies nur eine von mehreren leistungsstarken Funktionen, die ohne Aufpreis angeboten werden.

 

Die Lösung ist ideal für Situationen, in denen das Gerät direkt an einen SPAN-Anschluss angeschlossen wird, wodurch die Anzahl der Schäden, die durch Duplikate entstehen können, drastisch reduziert wird. Es bedeutet aber auch, dass die Appliance widerstandsfähig gegen SPAN-Fehlkonfigurationen oder andere Probleme der Netzwerkarchitektur ist, die zu Duplikaten führen können – ohne sich auf andere kostspielige Lösungen, wie z.B. Packet Broker, zu verlassen, um die notwendige Funktionalität zur Verfügung zu stellen und die Lösung zu komplettieren.

Einführung von Flow-Formaten und deren Unterschieden

Einführung von Flow-Formaten und deren Unterschieden

Es gibt mehrere Flow-Formate. Worin bestehen die Unterschiede? Welche werden von Flowmon unterstützt? Überprüfen Sie den Beitrag, um die Antworten zu sehen.

Flow Monitoring hat sich zur weit verbreiteten Methode zur Traffic-Überwachung in Hochgeschwindigkeitsnetzen entwickelt. Es gibt mehrere Standards für das Flow-Format und es kann schwierig sein, den richtigen für Ihre Bedürfnisse zu wählen. In diesem Artikel werden wir die gängigsten Flow-Formate durchgehen und einen grundlegenden Überblick über ihre Geschichte und Unterschiede geben.

Historie des Flow Monitoring

Die Geschichte der Flow Monitoring geht auf das Jahr 1996 zurück, als das NetFlow-Protokoll von Cisco Systems patentiert wurde. Flow-Daten stellen einen einzelnen Paketfluss im Netzwerk mit der gleichen 5-Tupel-Identifikation dar, die sich aus Quell-IP-Adresse, Ziel-IP-Adresse, Quell-Port, Ziel-Port, Ziel-Port und Protokoll zusammensetzt. Basierend darauf werden Pakete zu Flow Records aggregiert, die die Menge der übertragenen Daten, die Anzahl der Pakete und andere Informationen aus der Netzwerk- und Transportschicht sammeln. Ein typischer Flow-Monitoring-Aufbau besteht aus drei Hauptkomponenten:

Flow Exporter – Erstellen von Flow-Datensätzen durch Aggregation von Paketinformationen und exportieren der Datensätze an einen oder mehrere Flow-Kollektoren (z.B. Flowmon Probe).

Flow Collector – sammelt und speichert die Flow-Daten (z.B. Flowmon Collector).

Analyseapplikation – ermöglicht die Visualisierung und Analyse der empfangenen Flow-Daten (z.B. Flowmon Monitoring Center – native Applikation des Flowmon Collectors).

Cisco hat das Protokoll ursprünglich für seine Produkte entwickelt. Andere Hersteller haben einen solchen Ansatz verfolgt und mehr oder weniger ähnliche proprietäre Flow-Datenformate entwickelt.

Cisco standards

NetFlow v5

Die erste weit verbreitete Version war NetFlow v5, die 2006 verfügbar wurde. NetFlow v5 ist nach wie vor die häufigste Version und wird von einer Vielzahl von Routern und Switches unterstützt. Sie erfüllt jedoch nicht mehr die Anforderungen an ein genaues Flow Monitoring, da sie IPv6-Verkehr, MAC-Adressen, VLANs oder andere Erweiterungsfelder nicht unterstützt.

NetFlow v9

NetFlow v9 brachte mehrere zusätzliche Verbesserungen. Das Wichtigste ist die Unterstützung von Vorlagen, die eine flexible Definition des Flow-Exports ermöglichen und sicherstellen, dass NetFlow an die Unterstützung neuer Protokolle angepasst werden kann. Weitere Verbesserungen sind die Unterstützung von IPv6, Virtual Local Area Networks (VLANs), Multiprotocol Label Switching (MPLS) und anderen Funktionen. NetFlow v9 wird von den meisten der aktuellen Cisco-Router und -Switches unterstützt.

Flexible NetFlow

Cisco arbeitet weiterhin an der Verbesserung der NetFlow-Technologie. Die nächste Generation heißt Flexible NetFlow und erweitert NetFlow v9 weiter. Was Flexible NetFlow exportieren kann, ist in hohem Maße anpassbar, so dass Kunden fast alles exportieren können, was über den Router läuft.

Andere Hersteller

jFlow, NetStream, cflowd

Alle oben genannten Standards ähneln dem ursprünglichen Cisco NetFlow-Standard. jFlow wurde von Juniper Networks, NetStream von Huawei und cflowd von Alcatel-Lucent entwickelt.

Unabhängiger Standard

IPFIX

Der Vorschlag für das IPFIX-Protokoll (Internet Protocol Flow Information eXport) wurde 2008 von der IETF veröffentlicht. IPFIX ist von NetFlow v9 abgeleitet und sollte als universelles Protokoll für den Export von Flussinformationen aus Netzwerkgeräten an einen Kollektor oder ein Netzwerkmanagementsystem dienen. IPFIX ist flexibler als NetFlow und ermöglicht, die Flow-Daten um zusätzliche Informationen über den Netzwerkverkehr zu erweitern. Als Beispiel bereichern unsere Flowmon IPFIX-Erweiterungen die IPFIX-Flowdaten mit Metadaten des Application Layer Protokolls, Netzwerkleistungsstatistiken und anderen Informationen.

In der Cisco-Welt wird IPFIX üblicherweise als NetFlow v10 bezeichnet und bietet verschiedene Erweiterungen ähnlich wie Flowmon.

Verwandte Standards

NSEL

NSEL (NetFlow Security Event Logging) ermöglicht den Export von Flow-Daten aus Cisco’s ASA-Familie von Sicherheitsgeräten. Es hat ein ähnliches Format wie NetFlow, erfordert aber eine andere Interpretation und hat unterschiedliche Anwendungsfälle – der Zweck von NSEL ist es, Firewall-Ereignisse und Protokolle über NetFlow zu verfolgen. Leider kam es manchmal vor, dass die Leute durch die Terminologie verwirrt wurden und NSEL als kompatibel mit NetFlow betrachteten. Tatsächlich gibt es mit NSEL nicht genügend Informationen, um Verkehrskarten bereitzustellen oder detaillierte Drill-Downs und Fehlersuche zu unterstützen.

sFlow

Im Gegensatz zu NetFlow basiert sFlow auf Stichproben. Ein sFlow-Agent erhält Verkehrsstatistiken mit sFlow-Sampling, kapselt sie in sFlow-Pakete, die dann an den Collector gesendet werden. sFlow bietet zwei Sampling-Modi – Flow und Counter Sampling:

 

Flow Sampling, bei dem der sFlow-Agent Pakete in eine Richtung oder beide Richtungen auf einer Schnittstelle basierend auf dem Sampling-Verhältnis abtastet und die Pakete analysiert, um Informationen über den Inhalt der Paketdaten zu erhalten.

 

Counter Sampling, bei dem der sFlow-Agent periodisch Verkehrsstatistiken über eine Schnittstelle erhält.

 

Flow Sampling konzentriert sich auf Verkehrsdetails, um das Verkehrsverhalten im Netzwerk zu überwachen und zu analysieren, während Counter Sampling sich auf allgemeine Verkehrsstatistiken konzentriert.

Aufgrund von Paket-Sampling ist es jedoch nicht möglich, eine genaue Darstellung des Datenverkehrs zu erhalten und einige Daten werden verpasst. Daher kann die Sampling-Funktion die Verwendung von Flow-Daten in Fällen wie der Erkennung von Netzwerkanomalien einschränken. Andererseits kann sFlow für Top-Statistiken oder die Erkennung von DDoS-Angriffen verwendet werden. Cisco hat eine sehr ähnliche Technologie wie sFlow eingeführt, die den Namen NetFlow Lite trägt.

Welche Formate unterstützt Flowmon?

Unsere eigenständige Probe ermöglicht den Export von Strömungsdaten im NetFlow v5/v9 und IPFIX-Format. Zusätzlich kann die Sonde die Flowmon IPFIX-Erweiterung verwenden, die es ermöglicht, die Flowdaten mit zusätzlichen Informationen wie Netzwerkleistungsstatistiken (z.B. Round-Trip Time, Server Response Time und Jitter) und Informationen aus den Anwendungsprotokollen (HTTP, DNS, DHCP, SMB, E-Mail, MSSQL und andere) zu erweitern.

Der Flowmon Collector kann Netzwerkverkehrsstatistiken aus verschiedenen Quellen und Flow-Standards verarbeiten, einschließlich:

  • NetFlow v5/v9
  • IPFIX
  • NetStream
  • jFlow
  • cflowd
  • sFlow, NetFlow Lite

Fazit: Welches Flow-Format sollte verwendet werden?

Flowmon unterstützt die gängigsten Flow-Formate. Obwohl das Format, das Sie verwenden können, von Ihrer Netzwerkinfrastruktur abhängt, empfehlen wir Ihnen aufgrund unserer Erfahrung bei der Implementierung leistungsstarker Netzwerküberwachungsgeräte dringend die Verwendung von NetFlow v9/IPFIX-Exportformaten, da sie die genauesten und umfassendsten Informationen liefern.