So bauen Sie ein schnelles lokales Netzwerk auf

35

Ich arbeite in der Filmproduktion und brauche SEHR schnellen Zugriff auf sehr große Rohmaterialdateien. Ich verwende derzeit eSATA 6-Gbit / s-Docks für interne Festplatten, die so schnell sind, wie die Festplatte benötigt wird.

Wenn ich einen Server verwenden und über ein Netzwerk eine Verbindung zu meinen Arbeitsstationen herstellen würde, welche (relativ kostengünstige) Technologie würde es mir ermöglichen, die Laufwerksgeschwindigkeit zu erreichen oder zu übertreffen?

Ben
quelle
12
10-Gbit / s-Ethernet ist heutzutage weit verbreitet im Bereich "erschwinglich, wenn Sie über ein Budget verfügen". 8- oder 16-Gbit / s-SAN (Storage Area Network - auch bekannt als Fibre-Channel) ist jedoch möglicherweise besser für die jeweilige Verwendung geeignet?
Ecnerwal
3
Es wurde speziell für Speichernetzwerke entwickelt / optimiert.
Ecnerwal
3
Möchten Sie nur überprüfen - verwenden Sie SSDs? Wenn nicht, ist dies ein wesentliches Upgrade.
trpt4him
1
Ich sehe hier keinen Mehrwert eines SAN im Vergleich zu einem einfacheren und billigeren NAS.
Jiggunjer
3
Um dies richtig zu beantworten, sind weitere Informationen erforderlich: Welche Datenmenge muss gespeichert werden, wie viele Benutzer gleichzeitig, von wo aus wird auf die Daten zugegriffen (von welcher Art von Maschine)? Ein 100-Gbs-Netzwerk hilft nicht, wenn von einem 2- oder 3-Computer mit 1-Gbs-Netzwerkadapter zugegriffen wird.
JFL

Antworten:

31

Hier zu Beginn des Jahres 2017 scheinen die schnellsten SATA-Festplatten mit rund 220 MegaByte / Sek. (1,760 Gigabit / Sek.) Die derzeit online verfügbaren Informationen zu sein.

Wenn Sie also nur versuchen, die Geschwindigkeit eines einzelnen Laufwerks zu übertreffen, und sich aus Gründen der Kosten pro Terabyte für große Videodateien auf Festplatten beschränken, sind 10 Gigabit Ethernet ausreichend.


Beachten Sie außerdem, dass das Thunderbolt-Netzwerk ebenfalls 10 Gigabit / Sek. Beträgt. Wenn Sie also bereits über Thunderbolt-Ports verfügen, können Sie damit experimentieren. Es könnte möglicherweise Ihre 6-Gigabit-eSATA-3-Ports übertreffen, obwohl ich mir nicht sicher bin, weil eSATA sehr speicherspezifisch ist, wohingegen das Speichern über Ethernet mehr Overhead bedeutet. Beachten Sie auch, dass Thunderbolt ein Desktop-Bus ist. Es erreicht nur wenige Meter, nicht die 100 Meter, die 10 Gigabit Ethernet bewältigen kann. Während Thunderbolt für Experimente und Prototypen interessant sein kann, während Sie Ihre Optionen abwägen, ist es wahrscheinlich nicht die richtige langfristige Lösung für Sie, es sei denn, Sie möchten alle Ihre Workstations und Festplatten an einem großen Tisch hintereinander verbinden.


Das war also für einzelne Festplatten. Wenn Sie diese Laufwerke jedoch zusammen RAIDen, sodass jeder Lese- oder Schreibzugriff auf mehrere Laufwerke verteilt wird, können Sie eine wesentlich bessere Leistung erzielen als mit einem einzelnen Laufwerk. Abhängig von Ihrem Budget können Sie PCIe / M.2-NVME-SSDs in einen PC einbauen, der als Server / NAS fungiert, und Sie erhalten eine blitzschnelle Speicherleistung (ca. 3,4 GigaByte / Sek. = 27 Gigabit / Sek.) Pro Sekunde Fahrt.

In diesem Fall möchten Sie sich vielleicht etwas Schnelleres als 10-Gigabit-Ethernet ansehen, aber wenn Sie sich online umschauen, sehen Sie aus, als würden die Preise dramatisch über 10-Gigabit-Ethernet hinaus springen. Vielleicht möchten Sie die Link-Aggregation über mehrere 10-Gigabit-Links durchführen. Ich habe auch einige Anekdoten online gesehen, die besagten, dass gebrauchte Netzwerkgeräte, wie zum Beispiel gebrauchte 40-Gbit / s-InfiniBand-Geräte, bei eBay gekauft werden können.

Spiff
quelle
1
Was ist mit mehreren 10-Gbit-NICs + -Bonding?
André Borie
2
Beim Bonden können separate Flows unterschiedliche physische Links verwenden. Ein einzelner Flow verwendet jedoch nur eine Netzwerkkarte. Dies ist also nützlich, wenn mehrere Dateien gleichzeitig an verschiedene Personen gesendet werden, die Bandbreite für einen einzelnen Dateizugriff jedoch nicht erhöht wird.
JFL
4
@JohnU Nein, Ethernet ist mit Standard-Frames von 1500 Byte zu 94% effizient und mit Jumbo-Frames sogar noch besser. Ich sehe routinemäßig mehr als 930 Mbit / s Durchsatz, ohne es zu versuchen. Gigabit-Ethernet erlaubt keine Hubs, sondern nur Switches, ist also immer vollduplex und hat daher niemals Kollisionen.
Spiff
1
Das @ JFL-Ethernet-Bonding (IEEE 802.3ad Link Aggregation) verteilt die Last paketweise und nicht per Flow. Da Netzwerktechnologien im Allgemeinen in diskreten Schichten entworfen werden, hat Ethernet (Schicht 2, die Datenverbindungsschicht) keine Ahnung von den darüber liegenden Protokollen wie IP oder TCP, sodass es keine Ahnung von Flüssen hat.
Spiff
2
@JFL Linux Aggregation kann sicherlich einige Layer3 + Informationen verwenden (Linux kann viele ungewöhnliche Dinge tun), bitte denken Sie daran, dass Sie wirklich beide Seiten benötigen, um die gleiche Bindungsmethode zu unterstützen, um nützlich zu sein. Wenn Sie eine Verbindung zu einem Switch herstellen, können Sie wirklich verwenden, was der Switch unterstützt.
Zoredache
5

Wenn Sie sich an SATA-Festplatten halten, erzielen Sie durch die Implementierung von 10-Gbit-Ethernet und die Einrichtung eines RAID10 mit angemessener Größe auf dem Server eine spürbare Leistungssteigerung, die über die einer einzelnen SATA-Festplatte hinausgeht. Dies ist eine lohnende Investition, da Sie den Server auf beliebig viele Arbeitsstationen verteilen und in Zukunft durch Hinzufügen von Switches erweitern können. Sie müssen ein Cat-6-Ethernet-Kabel verwenden, da Cat-5E dies nicht verhindert. Vergessen Sie nicht, diese Kosten zu Ihren Berechnungen hinzuzufügen. Sie können auch SSDs als Cache hinzufügen, um das System noch weiter zu beschleunigen. Da Sie mit Videomaterial arbeiten, benötigen Sie vermutlich sehr viel Speicherplatz, der für die reine Erstellung mit SSDs extrem teuer wäre.

Sie können einen vorgefertigten Rackmount-Server von Dell oder HP kaufen und die Hardware-RAID-Karte verwenden, oder Sie können ein günstigeres Gehäuse von Supermicro kaufen und die Speichermaschine mithilfe von Software-RAID selbst bauen entweder Windows oder Linux. Hardware-RAID ist häufig schneller, wenn es sich um ein RAID1 handelt, da die Software nacheinander auf jede Festplatte schreiben und warten muss, bis der Schreibvorgang abgeschlossen ist, bevor mit dem nächsten Vorgang fortgefahren werden kann. Eine RAID-Karte kann im Allgemeinen parallel auf beide Festplatten schreiben und den Schreibvorgang zwischenspeichern, wodurch die Steuerung sofort an das Betriebssystem zurückgegeben wird. Beachten Sie jedoch, dass ein RAID0 zwar noch schneller wäre, Sie jedoch keine Redundanz haben und ein Ausfall eines einzelnen Laufwerks zu einem vollständigen Datenverlust führt. Verwenden Sie niemals ein RAID0, wenn Sie Daten haben, die Sie behalten möchten.

Am oberen Ende der Skala stehen SANs (Storage Area Networks) zur Verfügung, die jedoch so ausgelegt sind, dass viele Vorgänge von einer großen Anzahl separater Clients gleichzeitig ausgeführt werden können. Dies hat den Vorteil, dass der Durchsatz für eine kleine Anzahl verbundener Maschinen sehr hoch, für Ihre Anforderungen jedoch wahrscheinlich zu hoch und sehr teuer ist. Am unteren Ende befinden sich NAS-Geräte (Network Attached Storage), die bereits von anderen erwähnt wurden. Sie sind zwar viel einfacher als ein vollständiger Server, ich empfehle sie jedoch nicht, da ein NAS häufig eine Black Box ist. Sie sind so konzipiert, dass sie für die meisten Benutzer Plug & Play-fähig sind. Daher haben Sie nur wenig Kontrolle über das Betriebssystem. Ich musste nur ein kleines NAS zurückschicken, das ich für ein Büro eines Kunden gekauft hatte, da es nach einem Tag instabil wurde.

Ein weiterer Vorteil des Aufbaus eines Servers besteht darin, dass Sie Ihr gesamtes Filmmaterial an einem Ort konzentrieren. Dies macht es praktisch und relativ einfach, es regelmäßig zu sichern. Vernachlässigen Sie niemals Ihre Sicherungsstrategie. Eines Tages wirst du darauf angewiesen sein müssen!

Gargravarr
quelle
3
msgstr "Software muss nacheinander auf jede Festplatte schreiben und warten, bis der Schreibvorgang abgeschlossen ist, bevor mit der nächsten Operation fortgefahren wird". Das ist seit mehreren Jahrzehnten nicht mehr wahr; Selbst Nicht-Server-Festplatten unterstützen heutzutage die Befehlsreihenfolge. Und genau genommen musste die DMA-Software auch nicht warten. Dies wird seit etwa 1998 auf Desktops unterstützt.
MSalters
Es ist wahrscheinlich erwähnenswert, dass, während Ihr erster Satz für einen einzelnen Benutzer zutrifft, die gemeinsam genutzte Bandbreite von 10 GB bedeutet, dass bei mehreren Benutzern, die gleichzeitig auf die Freigabe zugreifen möchten, die Bandbreite, die jeder Benutzer erhält, möglicherweise unter die SATA-Ebene für einen einzelnen Benutzer fällt.
Dan Neely
2
Ein NAS ist definitionsgemäß kein spezielles Gerät. Sie können einen normalen Linux-PC mit Samba oder NFS verwenden und ihn als NAS bezeichnen. Der Hauptunterschied besteht in der Freigabe auf Dateiebene gegenüber der Freigabe auf Blockebene. Ein Block-Gerät kann jeweils nur von einem Client verwendet werden. Außerdem sind SANs teurer und erfordern mehr Konfigurationsaufwand.
Jiggunjer
@jiggunjer Sehr wahr, aber die meisten, die einen PC mit Samba bauen würden, würden ihn als Dateiserver bezeichnen, nicht als NAS. Ich spiele nur an der Technik, um das Spezialgerät zu meinen. Auch in Bezug auf SANs sehr zutreffend, weshalb ich sie als Overkill eingestuft habe.
Gargravarr
@DanNeely Ja, da mehr Clients mit gleichzeitigem Zugriff hinzugefügt werden, sinkt die Geschwindigkeit für jede Arbeitsstation, aber die Gesamtdatenrate, die vom Server kommt, sollte sehr hoch bleiben. Das Erweitern des SSD-Cache könnte das meiste ausgleichen.
Gargravarr
3

Nichts ist besser als die Flexibilität und einfache Konfiguration von 10gbe, aber SAS ist überraschenderweise von sich aus netzwerkfähig:

Bei einer geringen Anzahl von Arbeitsstationen (n <8), auf denen Volumes nicht von mehreren Computern gleichzeitig beschrieben werden müssen, funktioniert SAS hervorragend. Mit einem Tyan JBOD (1.500 US-Dollar) und einem LSI HBA (400 US-Dollar) erhalten wir anhaltende Übertragungen von 3.400 MB / s (27 Gbit / s) auf SSD. Der JBOD verfügt über einen internen Switch mit 3 Uplinks zu HBAs. SAS-Switches sind jedoch für eine höhere Anzahl von Ports verfügbar.

Hier ist ein Geschwindigkeitstest eines unserer Volumes:

CDM5 mit 2.862 MB / s sequenziellem Lesevorgang und 32 E-Mails in der Warteschlange.  4k Single Threaded Random Read 29MB / s

Intern verwenden wir diese Lösung mit Windows Server- Clustern, auf denen Speicherbereiche ausgeführt werden, die an Clients mit 10 GBE verteilt werden.

Windows Server-Cluster

Mitch
quelle
2

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Product

Erstens kann eine M.2-SSD, die das richtige Motherboard voraussetzt, 2 bis 4 GBit / s und möglicherweise mehr erreichen. RAID ein paar davon zusammen, und Ihre Geschwindigkeiten sind noch höher.

Wenn Sie mehrere 10-Gbit-Netzwerkkarten zusammenschließen, können Sie sich der nativen Geschwindigkeit annähern.

Alles über 10 g ist viel mehr Geld.

40 Gigabit NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXFy96roOllcRkp7j-VoubG_n7xb0_pgaAnaT8P8HAQ

Cybernard
quelle
Ein Anstieg über 10 GB wird wahrscheinlich auch die lokale Busgeschwindigkeit einschränken :) Ein PCI-Express 2.0 x16-Steckplatz ist theoretisch 64 GBit / s - aber allseitiger Overhead (Bus zu Speicher, Treibersoftware zu Speicher, CPU-Auslastung) ...) wird das ziemlich genau in der Nähe nagen, wo Sie froh sein können, wenn Ihre 10 GBe mit Leitungsgeschwindigkeit
laufen
2
@rackandboneman: Deshalb haben Sie intelligente Netzwerkkarten. Das 10-Gbit / s-Ethernet ist reine Geschwindigkeit. Die Ethernet-, IP- und TCP-Header können von der Netzwerkkarte verwaltet werden, sodass die CPU nur mit den realen Daten umgehen kann.
MSalters
WENN diese Entlademechanismen in Kombination mit Ihrem Anwendungsszenario funktionieren - und während sie die CPU-Auslastung verringern, werden sie das Datenvolumen nicht wesentlich reduzieren, es sei denn, ein Großteil dieses Datenverkehrs ist in erster Linie Müll ...
rackandboneman
@rackandboneman PCIe 3.0 x16 ist vorhanden, sodass die Geschwindigkeit doppelt so hoch sein kann.
Cybernard
10gbe können weitaus billiger sein: Mellanox nic für 180 USD und 25gbe kommen Mellanox 25gbe für 300 USD nahe . Was Sie tötet, sind die Portkosten für Switches, aber eBay oder ein komplettes Netz lassen dieses Problem verschwinden.
Mitch
0

Verwenden Sie eine Glasfaser-Ethernet-Karte mit einem Glasfaser-Switch, idealerweise Multimode oder Single Mode mit Pads. Wenn Sie das Budget haben, können Sie das Ganze auf 10 Gbit / s bringen. Wenn Sie die Link-Aggregation mit einer Dual-Port-Glasfaserkarte verwenden, können Sie 20 Gbit / s erzielen. Da sich der Begriff "relativ erschwinglich" in Abhängigkeit von Ihrem Budget ändert, wäre es hilfreich, die tatsächlichen Zahlen darüber zu ermitteln, was Sie ausgeben möchten.

Sonnig
quelle
0

Der billigste Weg wäre die Verwendung von Link Aggregation (IE führt N-Kabel, normalerweise 2) anstelle von einem.

Auf diese Weise wird aus einem spottbilligen 1-Gbit-Link ein 2-Gbit-Link.

Dies bedeutet natürlich, dass Sie mindestens 4 Ports für einen einzelnen Client-Server benötigen.

Antzi
quelle
und der Client braucht 2 Ports ... Funktionieren damit einfache Switches? oder soll es ein direkter link sein?
Jiggunjer
@jiggunjer einfacher Schalter kann dafür verwendet werden, aber Sie benötigen eine spezielle Konfiguration auf allen Computern / Servern, die dieses Schema verwenden
Antzi
Entspricht diese Aggregation der Bindung, die in den Kommentaren der Antwort von @Spiff erwähnt wurde? In diesem Fall wird die Bandbreite für den Zugriff auf einzelne Dateien nicht erhöht ...
jiggunjer
@jiggunjer Das hängt wirklich davon ab, wie Sie das Setup durchführen, daher kann ich nicht wirklich antworten.
Antzi
1
@FlorianCastellane letzte billige, die ich gekauft habe, war nicht. Hängt von den Spezifikationen ab
Antzi