Wir verwenden einen LSI 9211-8i-RAID-Controller (im IT-Modus geflasht) in einem PCI-e 2.0 x8-Steckplatz. Es ist mit 1 SFF-8087-Kabel an eine Supermicro SAS 836EL1-Rückwandplatine angeschlossen. Wir haben 16 Laufwerke installiert.
Wenn wir einen "Badblocks" -Test für eine Festplatte durchführen, beträgt die Leistung etwa 140 MByte / s. Wenn Badblocks gleichzeitig auf mehreren Laufwerken getestet werden, erreichen alle Laufwerke ungefähr 140 MByte / s, bis wir 8 Laufwerke überschreiten.
Bei 16 aktiven Laufwerken erhalten wir nur 60 MByte / s auf jeder Festplatte.
Ist das normales Verhalten für eine Expander-Rückwandplatine? Wenn nicht, was könnte die Ursache sein?
storage
hardware
sas
supermicro
Jorne
quelle
quelle
Antworten:
So funktionieren SAS-Expander. Sie sind technisch überzeichnet, aber in Wirklichkeit sollten Sie es nicht sein.
Die SAS SFF-8087-Verbindung bietet einen Durchsatz von 4 x 6,0 Gbit / s == 24 Gbit / s.
140 Megbytes / Sekunde sind ~ 1,2 Gbit / s. 8 Festplatten mit dieser Rate sind ungefähr 9 Gbit / s. Sie können wahrscheinlich noch ein paar Festplatten in Betrieb nehmen, bevor die Preise fallen. Berücksichtigen Sie einige Gemeinkosten.
Sie erreichen eine Geschwindigkeit von 3,0 Gbit / s (12 Gbit / s Obergrenze für ein 4-spuriges SAS-Kabel).
Möglicherweise liegt ein Verbindungsverhandlungsproblem zwischen Ihrem LSI-HBA und der Expander-Rückwandplatine vor. Überprüfen Sie den LSI-Controller und prüfen Sie, ob eine Verbindung mit 3,0 Gbit / s am SFF-8087-Port oder 6,0 Gbit / s angezeigt wird. Sie erhalten nur eine Geschwindigkeit von 3,0 Gbit / s, aber alle Geräte in der Kette (mit Ausnahme der Festplatten) haben eine Geschwindigkeit von 6,0 Gbit / s.
Haben Sie die Firmware des Expanders auf den neuesten Stand gebracht?
Bearbeiten:
Ich glaube, ich bin bei der Arbeit darauf gestoßen ... Es gab ein Problem mit diesem Expander-Typ und den LSI-Controllern, das dazu führte, dass SATA- Laufwerke mit 1,5 Gbit / s verbunden wurden. Schauen Sie hier. Die Verhandlungsprobleme können also auf der Laufwerksseite liegen. Können Sie auch die Firmware Ihres LSI-Controllers überprüfen?
quelle
SAS-Expander "speichern und leiten" nicht (zum jetzigen Zeitpunkt) wie ein Ethernet-Switch. Sie können nur so schnell wie das langsamste Signalgerät im Array sein.
In diesem Fall unterstützen Ihre Laufwerke nur 3,0 Gbit / s, und das einzelne SFF-8087-Kabel führt 4 Ports zum Controller, was insgesamt 12,0 Gbit / s entspricht. Mit Codierungsaufwand haben Sie ungefähr 1200 MB / s für die 16 Laufwerke, ungefähr 75 MB / s pro Laufwerk. Wenn Sie etwas SATA-Protokoll-Overhead einwerfen, sind die 60 MB / s, die Sie sehen, niedrig.
Wenn Sie ein weiteres SFF-8087-Kabel für insgesamt 8 x 3,0-Gbit / s-Kanäle hinzufügen, verdoppeln Sie die verfügbare Busbandbreite und erreichen realistisch ~ 120 MB / s pro Laufwerk. Wenn die Laufwerke hingegen 6,0 Gbit / s anstelle von 3,0 unterstützen, können Sie dieselben 120 MB / s über ein einzelnes Kabel erreichen oder den Spitzendurchsatz jedes einzelnen Laufwerks über zwei Kabel erreichen. (TL; DR: Verwenden Sie nach Möglichkeit zwei SFF-8087-Uplinks.)
Dies ist einer der Gründe, warum SATA- und SAS-Laufwerke jetzt mit Signalisierungsraten von 6,0 oder sogar 12,0 Gbit / s ausgeliefert werden. Die einzelnen Festplatten können nur einen kleinen Teil dieses Durchsatzes liefern. Wenn Sie jedoch den gesamten SAS-Bus schneller ausführen, können Sie vor dem Engpass mehr Laufwerke verarbeiten.
quelle
Ich denke, der Flaschenhals befindet sich am einzelnen SFF-8087-Kabel, mit dem Sie durchgehend etwa 12 GB / S erhalten.
Sie können dies bestätigen, indem Sie 4 Festplatten ablegen und prüfen, ob die Leistung 80 MB / s pro Festplatte beträgt (16 ^ 60/12), oder versuchen Sie, mit 2 Kabeln eine Verbindung zum LSI 9211-8i herzustellen.
Unterm Strich lesen Sie das Handbuch. http://www.supermicro.com/manuals/other/BPN-SAS-836EL.pdf
quelle