100 Gbit/s Ethernet

Benötigen Sie 100-Gbit/s-Ethernet? Die eigentliche Frage scheint zu sein, ob Sie bereit sind, dafür zu zahlen, und ob dies angesichts des zunehmenden Datenverkehrs im Rechenzentrum unvermeidbar ist.

Genießen Sie diesen Artikel sowie alle unsere Inhalte, einschließlich E-Guides, Neuigkeiten, Tipps und mehr.

Sie haben vergessen, eine E-Mail-Adresse anzugeben.

Diese E-Mail-Adresse scheint ungültig zu sein.

Diese Email-Adresse ist bereits registriert. Bitte loggen Sie sich ein.

Sie haben die maximale Zeichenbeschränkung überschritten.

Bitte geben Sie eine Firmen-E-Mail-Adresse an.

Bitte aktivieren Sie das Kontrollkästchen, wenn Sie fortfahren möchten.

Bitte aktivieren Sie das Kontrollkästchen, wenn Sie fortfahren möchten.

Mit der Angabe meiner E-Mail-Adresse bestätige ich, dass ich die Nutzungsbedingungen und Einverständniserklärung gelesen und akzeptiert habe.

Der Standard wurde 2010 als IEEE 802.3ba ratifiziert. Es wurde 1973 von Bob Metcalfe und Dave Boggs bei Xerox PARC erfunden und bot damals gewaltige 2,94 Mbit/s.

40 Jahre später ist 1-Gbit/s-Ethernet (1GbE) im LAN alltäglich, die Chips, die Ethernet-Ports mit Strom versorgen, sind effizient und nahezu kostenlos, und 1GbE reicht für die Anforderungen der meisten Benutzer aus.

Im Rechenzentrum sieht das jedoch anders aus. Laut Cisco wird sich der weltweite IP-Verkehr in Rechenzentren in den nächsten fünf Jahren nahezu vervierfachen und mit einer durchschnittlichen jährlichen Wachstumsrate von 31 % wachsen.

Dafür gibt es eine Reihe von Gründen, die größte Rolle spielt jedoch ein enormes Wachstum sowohl des Volumens als auch der Art des Datenverkehrs, der durch das Rechenzentrum fließt. Da die Daten immer umfangreicher und größer werden – beispielsweise aufgrund der Zunahme ständig verfügbarer mobiler Geräte, zentralisierter Unternehmens-Desktops oder der explosionsartigen Verbreitung von Cloud Computing –, ist im Back-End ein größerer Druck zu spüren.

Auch die Virtualisierung hat die Datenmuster von Rechenzentren grundlegend verändert. Traditionell bestand der Datenverkehr aus externen Quellen, die Anfragen von einem Server innerhalb des Rechenzentrums stellten, gefolgt von der Antwort des Servers. Dieses Modell führte zu dreischichtigen Netzwerken, wobei Zugriffs-, Aggregations- und Kern-Switch-Schichten zur Standard-Netzwerktopologie des Rechenzentrums wurden und die Verkehrsdichte auf der Zugriffsschicht am niedrigsten war und umso größer wurde, je näher man sich dem Kern näherte.

Das hat sich alles geändert. Der globale Cloud-Index-Bericht von Cisco zeigte, dass 76 % des Datenverkehrs jetzt im Rechenzentrum verbleiben. Ein Großteil des Datenverkehrs hängt mittlerweile mit der Trennung von Funktionen zusammen, die verschiedenen Servern innerhalb der Einrichtung zugewiesen sind, beispielsweise Anwendungen, Speicher und Datenbanken. Diese generieren dann Datenverkehr für Backup und Replikation sowie Lese-/Schreibverkehr im gesamten Rechenzentrum.

Technologien wie VMware vMotion verschieben virtuelle Maschinen im Rechenzentrum. Durch die Speichervirtualisierung, die unter anderem dafür sorgt, dass mehrere Arrays als eine Einheit erscheinen, erhöht sich auch das Volumen automatisierter Übertragungen großer Datenmengen innerhalb der Anlage. Die Parallelverarbeitung unterteilt dann Aufgaben in Blöcke und verteilt sie.

Heutige Webseiten sind komplexer als Anfragen von der Quelle an den Server und zurück, was zu Datenzugriffen auf eine einzelne Webseite von mehreren Standorten innerhalb des Rechenzentrums aus führt.

Darüber hinaus führen laut Shaun Walsh, Senior Vice President of Marketing bei Emulex, Anwendungen wie Hochgeschwindigkeits-Finanzhandel, Analyse und Sortierung von Kreditkartentransaktionen zu vielen kleinen Kommunikationen, die im Rack bleiben und Hochgeschwindigkeitsverbindungen benötigen.

Die Netzwerke von Rechenzentren beginnen sich zu verändern, um diesen veränderten Verkehrsmustern Rechnung zu tragen. Anstelle einer Architektur, die darauf ausgelegt ist, den Datenverkehr von Servern an den Rand des Netzwerks und umgekehrt zu leiten – bekannt als Nord-Süd-Datenverkehr – werden sie zu Fabrics, bei denen alle Knoten miteinander verbunden sind und Hochgeschwindigkeitsbandbreite für Ost-West-Konnektivität ermöglichen Also.

Laut Clive Longbottom, Gründer des Analystenunternehmens Quocirca, erhöhen diese Netzwerkstrukturen für Rechenzentren den Bedarf an enormer zusätzlicher Bandbreite.

„Die Notwendigkeit, den zunehmenden Ost-West-Verkehr zu bewältigen, bedeutet, dass 100 GbE die beste Möglichkeit ist, mit der Latenz im Rechenzentrum umzugehen, vorausgesetzt, die richtigen Tools sind vorhanden, um sicherzustellen, dass alles effektiv funktioniert“, sagt er.

Verwendete Ethernet-Geschwindigkeiten

„Im Laufe der Zeit wird es dann zum Kern für die Ablösung von 10GbE werden, wobei 10GbE zum Ersatz für 1GbE [Standard-Kaskadentechnologie] wird“, fügt Longbottom hinzu.

Neue Verkehrsmuster und Netzwerkstrukturen steigern also die Nachfrage nach Bandbreite – aber sind Netzwerktechnologien bereit, diese Herausforderung zu meistern? Wenn es um Server geht, lautet die Antwort nein.

Laut dem IEEE-Standardisierungsgremium in seinem Industry Connections Ethernet Bandwidth Assessment-Bericht aus dem Jahr 2012 ist ein großer Wandel von 1GbE-Ethernet im Rechenzentrum zu 10 Gbit/s im Gange. Seine Untersuchungen zeigten im Jahr 2011, dass 10-Gbit/s-Server-Ports etwa 17 % der Gesamtzahl ausmachten, für 2014 wurde jedoch ein Anstieg auf 59 % prognostiziert, da immer mehr Server mit PCIe 3.0-Bussen online gehen.

Mit anderen Worten: 10GbE ist jetzt da – und es gibt zahlreiche Server mit standardmäßig vier 10GbE-Ports.

Da jedoch jeder Virtualisierungs-Hostserver aus Redundanzgründen mindestens zwei Ethernet-Ports benötigt, ist für die Umstellung auf 100 GbE zur Bereitstellung der vollen Bandbreite auf beiden Ports eine weitere Generation des Serverbusses mit höherer Bandbreite erforderlich.

Im IEEE-Bericht heißt es: „Die nächste PCIe-Generation wird 100 Gbit/s in einer x8-Konfiguration unterstützen, aber die Zukunft von PCIe war zum Zeitpunkt der Erstellung dieser Einschätzung unbekannt. Es wurde vorgeschlagen, dass PCIe 4.0 ab 2015 zwei 100-Gbit/s-Ethernet-Server-Ports ermöglichen würde.“ ."

Die PCI-SIG, das Lenkungsgremium für PCIe, unterstützt diese Einschätzung. „Die endgültigen PCIe 4.0-Spezifikationen, einschließlich Aktualisierungen der Formfaktor-Spezifikationen, werden voraussichtlich Ende 2015 verfügbar sein“, sagt er.

Heutzutage verfügen High-End-Server über 10-GbE-Ports, aber das IEEE prognostiziert, dass 40 GbE diese im nächsten Jahr oder so ersetzen wird, wobei 100 GbE etwa 2015 auf den Markt kommen wird. Walsh von Emulex sagt jedoch, dass selbst PCIe 4.0 den Anforderungen von 100 GbE nicht genügen wird.

„Intel spricht von einem neuen Ersatz für PCIe 4.0, der nicht vor 2017-18 verfügbar sein wird“, sagt er, der den Anforderungen von Netzwerktechnologien mit höherer Bandbreite besser gerecht wird.

Das IEEE befasst sich jedoch hauptsächlich mit Bandbreitenanforderungen und weniger mit der Frage, ob dieser Bedarf durch eine einzige Technologie gedeckt werden kann. Heutzutage liefern und empfangen Server-Racks routinemäßig Hunderte von Gigabit pro Sekunde mithilfe von Aggregation, normalerweise über 10-GbE- oder 40-GbE-Verbindungen.

Laut Tim Boerner, leitender Netzwerkingenieur am National Center for Supercomputing Applications (NCSA) der University of Illinois, birgt die Aggregation der 40GbE-Technologie viele „Fallstricke“.

Die NCSA nutzt ihre Rechenressourcen für Berechnungen wie die Simulation, wie Galaxien kollidieren und verschmelzen, wie sich Proteine ​​falten und wie sich Moleküle durch die Wand einer Zelle bewegen.

Das Blue Waters-Projekt der NCSA umfasst etwa 300 TB und muss 300 Gbit/s aus den Serverclustern über eine Ethernet-Fabric zu einem Archivierungssystem oder einem externen Ziel verschieben. Es nutzt die 40-GbE-Technologie von Extreme Networks und das Link Aggregation Protocol (LACP), um seine großen Datenmengen zu übertragen.

Boerner sagt, dass Aggregation „gute [Leistungs-]Zahlen bei ausreichender Übertragung liefern kann“, aber „womit man konfrontiert wird, ist nicht eine Beschränkung des Netzwerks, sondern die Schwierigkeit, die I/O-Zuweisung zu verschiedenen CPUs und PCI-Steckplätzen unter einen Hut zu bringen“.

Trotz der mit der Aggregation verbundenen Schwierigkeiten hat sich die NCSA bewusst gegen 100 GbE entschieden. „Es wäre ein enormer Kostenfaktor, sich für 100 GbE zu entscheiden und alle Peripheriegeräte in diesem System zu haben“, sagt Boerner.

Er hält es für einen Vorteil, dass die NCSA eine Forschungsabteilung ist, wenn es um den Aufbau solcher Netzwerke geht. „Wir verfügen über umfangreiche Kenntnisse in der Leistungsoptimierung und können uns die Zeit nehmen, diese Ziele auf eine Weise zu erreichen, die für ein Unternehmen möglicherweise nicht kosteneffektiv wäre. Da ich aus der Privatwirtschaft komme, weiß ich, dass sie wollen, dass es einfach angeschlossen wird und funktioniert.“ er sagt.

„Diese Switch-zu-Switch-Verbindungen, der Zugang zur Aggregation und die Aggregation zum Kern, werden kurz- und mittelfristig den Großteil der 40-GbE- und 100-GbE-Verbindungen nutzen“, sagt Brian Yoshinaka, Produktmarketing-Ingenieur der LAN Access Division von Intel .

Große Netzwerkanbieter wie Cisco, Juniper und Brocade verkaufen bereits 100GbE-fähige Switches und Router, die hauptsächlich für Rechenzentrumsstrukturen für Benutzer wie Telekommunikationsbetreiber und Cloud-Anbieter gedacht sind. Große Unternehmen verfügen nun über die Werkzeuge zum Aufbau von Fabric-Netzwerken, und da die Technologie vorhanden ist, ist es möglich, ein solches Hochgeschwindigkeitsnetzwerk aufzubauen.

Aber 40-GbE-Switch-Ports kosten im Durchschnitt jeweils 2.500 US-Dollar, sodass 100-GbE alles andere als eine günstige Option ist.

Eine Alternative ist die Link-Aggregation, eine Technik, die von vielen genutzt wird, darunter auch vom National Center for Supercomputing Applications (NCSA) der University of Illinois. Eine Einschränkung der Aggregation besteht darin, dass sich alle gruppierten physischen Ports auf demselben Switch befinden müssen, obwohl es Möglichkeiten gibt, dies zu umgehen. Es gibt jedoch noch ein anderes, grundlegenderes Problem.

„Kurzfristig können Fabric-Netzwerke den Bedarf [für 100 GbE] verbergen, indem sie Links zusammenfassen, um die benötigte Bandbreite zu schaffen“, sagt Longbottom. „Diejenigen, die nicht auf Stoff achten, gehören wahrscheinlich nicht zu der Sorte, die in absehbarer Zeit 100 Gbit/s benötigen wird.“

„Aber wenn Sie bei Cat6-Ethernet bleiben, passen nur so viele Ports in einen Raum, und wenn Sie 10 davon belegen, um das Äquivalent eines Ports zu schaffen, wird es teuer in Bezug auf Platz, Kabel und Strom auf diesem Weg“, sagt er.

Unternehmen beginnen erst jetzt damit, 10-Gbit/s-Ports in nennenswerter Zahl zu kaufen, sodass die Preise für schnellere Ports in naher Zukunft wahrscheinlich hoch bleiben werden. Darüber hinaus bleiben auch die Kosten für Peripheriegeräte und Technologien wie Paketinspektoren und Verwaltungstools hoch und müssen 100-GbE-fähig gemacht werden.

Daher ist 40GbE mittelfristig eine kostengünstigere Route. Darüber hinaus erwarten Netzwerkmanager von Rechenzentren möglicherweise, dass das Unternehmen erhebliche Datenverkehrsmengen an verschiedene Cloud-Anbieter auslagert, was sie von der Notwendigkeit befreit, über teure Netzwerk-Upgrades nachzudenken und dafür zu bezahlen.

Diejenigen, die sich für 100GbE entscheiden, verfügen zu diesem Zeitpunkt wahrscheinlich über sehr überzeugende finanzielle Gründe für eine Investition in die Technologie.