10GE-Netzwerk: Ist es immer noch tödlich teuer? Irgendwelche Optionen?

Ich baue einen Home-Cluster auf, in dem ich ungefähr 16 Knoten haben werde, die mit 1G-Ports leben können, aber ich möchte 10GE auf dem Dateiserver und dem zentralen Knoten haben. Es ist alles lokal, daher sind keine Kabel länger als 3-5 m erforderlich. Und natürlich möchte ich so wenig Geld wie möglich ausgeben (nicht mehr als die gesamten Clusterkosten) :-)

Was sind meine Optionen?

1. Legacy-Lösung besteht darin, einen 24-48-Port-1GE-Switch zu verwenden und über 4-8 aggregierte Links eine Verbindung zu Datei- / Zentralknoten herzustellen. Dies wird funktionieren, ich denke, die Kosten sind sehr akzeptabel, aber ich bin nicht sicher, ob es in Ordnung ist, so viele aggregierte Links zu verwenden. Und natürlich wäre es schwierig, die Bandbreite bei Bedarf zu verdoppeln ... :-D
2. Switch mit mehreren 10GE-Uplink-Ports. Soweit ich sehe, benötigen sie alle Module, die ungefähr 1000 $ kosten, also brauche ich 4 10G-Module und 2 10GE-Karten ... Riecht nach weit mehr als 5000 $ + ...
3. Verbinden Sie die Datei und den zentralen Knoten direkt über 2 10G-Karten und legen Sie 4 Quad-Port-1GE-NICs auf den Dateiserver. Ich spare 2 10G-Module und einen Switch, der Dateiserver muss das Paket-Routing durchführen, aber es werden noch viele CPUs übrig sein :-)
4. Irgendwelche anderen Optionen? Infiniband?
5. Funktionieren MyriNet-Adapter einwandfrei? Ich denke, es gibt keine billigeren Optionen?
6. Hmm ... Scrap-Dateiserver, lege alles auf den zentralen Knoten und stelle einen dedizierten 1GE-Port für jeden der Knoten bereit ... Das ist traurig ...

Ich glaube nicht, dass Sie hier nicht das ganze Bild sehen.

Sie möchten einen Dateiserver mit einer Geschwindigkeit von 10 Gbit / s verbinden, was nach einer sexy Idee klingt. Was Sie nicht sehen, ist die Fähigkeit dieses Servers, diese Menge an Datenverkehr von Datenträgern zu generieren. Das Abrufen von 1 GBit / s von einem Dateiserver ist heute eine sehr gute Leistung. 10 Gbit / s sind nicht nur teuer, wie Sie selbst erkannt haben, sondern mindestens zu 90% nutzlos.

Ihre beste Option ist es, einige blitzschnelle Festplatten in Ihre Dateiserver einzulegen, wenn so viele E / A-Vorgänge bereitgestellt werden müssen. Ich bin der festen Überzeugung, dass der "erschwingliche" Pfad (beachten Sie die Anführungszeichen) SSD-Laufwerke in schnellen RAID-Konfigurationen (dh RAID10) sind.

Was das Netzwerk betrifft, reicht ein 4x1Gbps-Agregate aus, und Sie können später sogar noch mehr hinzufügen. Beachten Sie, dass interne Busse (PCI * lesen) nicht immer Multi-Gigabit-Geschwindigkeiten verarbeiten können. Dies gilt insbesondere dann, wenn Sie keine Motherboards mit Serverqualität verwenden.

Ich glaube, dies ist Ihre einzige "erschwingliche" Option hier. Infiniband-Karten sind nicht besonders teuer. Ich glaube, Sie können einige für ~ 150 $ finden, aber der Schalter wird sehr teuer sein.

Möglicherweise möchten Sie ATA über Ethernet in Betracht ziehen, wenn Sie einige teure Layer-3-Switches sparen möchten. Dies ist das Protokoll von Chioce für kostengünstige, aber leistungsstarke Lösungen als jedes andere Dateisystem, das ich heute kenne. Es gibt jedoch keine 10-Gbit-Vanille-Switches (ohne L3-Switching).

Betrachten Sie als POC: Ubuntu Server 10.x und AOE Tools Projekt http://sourceforge.net/projects/aoetools/files

https://help.ubuntu.com/community/ATAOverEthernet