10GE-Netzwerk: Ist es immer noch tödlich teuer? Irgendwelche Optionen?

7

Ich baue einen Home-Cluster auf, in dem ich ungefähr 16 Knoten haben werde, die mit 1G-Ports leben können, aber ich möchte 10GE auf dem Dateiserver und dem zentralen Knoten haben. Es ist alles lokal, daher sind keine Kabel länger als 3-5 m erforderlich. Und natürlich möchte ich so wenig Geld wie möglich ausgeben (nicht mehr als die gesamten Clusterkosten) :-)

Was sind meine Optionen?

  1. Legacy-Lösung besteht darin, einen 24-48-Port-1GE-Switch zu verwenden und über 4-8 aggregierte Links eine Verbindung zu Datei- / Zentralknoten herzustellen. Dies wird funktionieren, ich denke, die Kosten sind sehr akzeptabel, aber ich bin nicht sicher, ob es in Ordnung ist, so viele aggregierte Links zu verwenden. Und natürlich wäre es schwierig, die Bandbreite bei Bedarf zu verdoppeln ... :-D
  2. Switch mit mehreren 10GE-Uplink-Ports. Soweit ich sehe, benötigen sie alle Module, die ungefähr 1000 $ kosten, also brauche ich 4 10G-Module und 2 10GE-Karten ... Riecht nach weit mehr als 5000 $ + ...
  3. Verbinden Sie die Datei und den zentralen Knoten direkt über 2 10G-Karten und legen Sie 4 Quad-Port-1GE-NICs auf den Dateiserver. Ich spare 2 10G-Module und einen Switch, der Dateiserver muss das Paket-Routing durchführen, aber es werden noch viele CPUs übrig sein :-)
  4. Irgendwelche anderen Optionen? Infiniband?
  5. Funktionieren MyriNet-Adapter einwandfrei? Ich denke, es gibt keine billigeren Optionen?
  6. Hmm ... Scrap-Dateiserver, lege alles auf den zentralen Knoten und stelle einen dedizierten 1GE-Port für jeden der Knoten bereit ... Das ist traurig ...
BarsMonster
quelle

Antworten:

12

Ich glaube nicht, dass Sie hier nicht das ganze Bild sehen.

Sie möchten einen Dateiserver mit einer Geschwindigkeit von 10 Gbit / s verbinden, was nach einer sexy Idee klingt. Was Sie nicht sehen, ist die Fähigkeit dieses Servers, diese Menge an Datenverkehr von Datenträgern zu generieren. Das Abrufen von 1 GBit / s von einem Dateiserver ist heute eine sehr gute Leistung. 10 Gbit / s sind nicht nur teuer, wie Sie selbst erkannt haben, sondern mindestens zu 90% nutzlos.

Ihre beste Option ist es, einige blitzschnelle Festplatten in Ihre Dateiserver einzulegen, wenn so viele E / A-Vorgänge bereitgestellt werden müssen. Ich bin der festen Überzeugung, dass der "erschwingliche" Pfad (beachten Sie die Anführungszeichen) SSD-Laufwerke in schnellen RAID-Konfigurationen (dh RAID10) sind.

Was das Netzwerk betrifft, reicht ein 4x1Gbps-Agregate aus, und Sie können später sogar noch mehr hinzufügen. Beachten Sie, dass interne Busse (PCI * lesen) nicht immer Multi-Gigabit-Geschwindigkeiten verarbeiten können. Dies gilt insbesondere dann, wenn Sie keine Motherboards mit Serverqualität verwenden.

Ich glaube, dies ist Ihre einzige "erschwingliche" Option hier. Infiniband-Karten sind nicht besonders teuer. Ich glaube, Sie können einige für ~ 150 $ finden, aber der Schalter wird sehr teuer sein.

Antoine Benkemoun
quelle
5
Muss dem zustimmen. Wir haben eine 10-Gbit-Infrastruktur in Arbeit, die auf Kupfer-SFP + -Verbindungen basiert. Dies war teuer genug, aber der eigentliche Aufwand war die Serverinfrastruktur, die es tatsächlich nutzen würde.
Rob Moir
Nun, sogar mein aus Junk erstellter Heim-Dateiserver kann nacheinander 400 MBit / s lesen. Ich kann problemlos einen großen Speicher für Festplatten mit einer Kapazität von 1 Gbit / s und einen kleinen zufälligen Speicher für SSD mit einer Kapazität von 1 Gbit / s (600 Mbit / s vom Onboard-Controller + wenige PCI-E-RAID-Karten) erstellen. Ich interessiere mich mehr für die Bandbreite zwischen zentralen Knoten und "kleinen" Knoten, da der Datenverkehr zwischen Softwareteilen erfolgt - nicht durch Festplatten beschränkt. Es kommt also sowohl auf die Bandbreite als auch auf die Latenz an. Bedeutet 10GE auch weniger Latenz?
BarsMonster
1
10 Gbit / s bedeuten höchstwahrscheinlich weniger Latenz, aber ich glaube nicht, dass die Verbesserung wirklich sinnvoll sein wird. Sie übertragen Daten mit höheren Raten, damit sie schneller ankommen. Welches Dateifreigabeprotokoll verwenden Sie, um diese Nummern zu erhalten, oder handelt es sich nur um eine reine lokale Leistung?
Antoine Benkemoun
Ja, sicher meine ich rohe lokale Leistung. Ich habe noch nichts schneller als 1GE.
BarsMonster
1
Dies ist für den Benutzer "BarsMonster": Können Sie Ihren Home-Dateiserver erklären? Hardware? Betriebssystem? Dateisystem usw.
John-ZFS
0

Möglicherweise möchten Sie ATA über Ethernet in Betracht ziehen, wenn Sie einige teure Layer-3-Switches sparen möchten. Dies ist das Protokoll von Chioce für kostengünstige, aber leistungsstarke Lösungen als jedes andere Dateisystem, das ich heute kenne. Es gibt jedoch keine 10-Gbit-Vanille-Switches (ohne L3-Switching).

Betrachten Sie als POC: Ubuntu Server 10.x und AOE Tools Projekt http://sourceforge.net/projects/aoetools/files

https://help.ubuntu.com/community/ATAOverEthernet

John-ZFS
quelle
1
Ein Schalter ohne L2-Umschaltung ist kein Schalter.
Antoine Benkemoun
Okay, verstanden, meine Antwort ist jetzt korrigiert. danke
John-ZFS