Verbesserung der mdadm RAID-6-Schreibgeschwindigkeit

Ich habe ein mdadm RAID-6 auf meinem Heimserver mit 5x1 TB WD Green HDDs. Die Lesegeschwindigkeit ist mehr als ausreichend - 268 Mb / s in dd. Die Schreibgeschwindigkeit beträgt jedoch nur 37,1 Mbit / s. (Beide wurden über dd in einer 48-GB-Datei getestet, die RAM-Größe beträgt 1 GB, die beim Testen verwendete Blockgröße 8 KB.)

Könnten Sie bitte vorschlagen, warum die Schreibgeschwindigkeit so niedrig ist und ob es Möglichkeiten gibt, sie zu verbessern? Die CPU-Auslastung während des Schreibens beträgt nur 25% (dh die Hälfte von 1 Kern von Opteron 165). Keine geschäftskritischen Daten dort und der Server ist UPS-gesichert.

mdstat ist:

Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sda1[0] sdd1[4] sde1[3] sdf1[2] sdb1[1]
      2929683456 blocks super 1.2 level 6, 1024k chunk, algorithm 2 [5/5] [UUUUU]
      bitmap: 0/8 pages [0KB], 65536KB chunk

unused devices: <none>

Irgendwelche Vorschläge?

Dinge wie Rückschreiben, Barriere, Nobh haben nicht geholfen. DD-Blockgröße = 1M, 8M hat nichts geändert. Es sieht so aus, als würde mdadm Sektoren physisch lesen, um die Parität zu berechnen, auch wenn es keine Rolle spielt ... Ist das richtig?

Update: Die Geschwindigkeitsverschlechterung nach geändertem Stripe-Cache war tatsächlich darauf zurückzuführen, dass 1 Festplatte beim Testen wahrscheinlich ausgefallen ist. Schön :-D

Behoben: Nach dem Erhöhen des Stripe-Cache und dem Umschalten auf eine externe Bitmap beträgt meine Geschwindigkeit 160 Mbit / s Schreibvorgänge und 260 Mbit / s Lesevorgänge. :-D

Haben Sie versucht, / sys / block / mdX / md / stripe_cache_size zu optimieren?

Laut diesem Forumsbeitrag (auf Norwegisch, sorry) "ist die Optimierung dieses Parameters umso wichtiger, je mehr Festplatten und je schneller Ihr System ist":

Auf meinem System erhalte ich die beste Leistung mit dem Wert 8192. Wenn ich den Standardwert 256 verwende, sinkt die Schreibleistung um 66%.

Zum Vergleich seine Geschwindigkeit zitieren:

Festplatten: 8xSeagate 2 TB LP (5900 U / min) in mdadm RAID6 (-n 512) (stripe_size_cache = 8192).

CPU: Intel X3430 (4 x 2,4 GHz, 8 GB DDR3 ECC RAM)

Geschwindigkeit: 387 MB / s sequentielles Schreiben, 704 MB / s sequentielles Lesen, 669 zufällige Suchvorgänge pro Sekunde.

Mein Heimserver hat mit RAID 5 fast die gleichen Festplatten wie Sie:

Festplatten: 4x1,5 TB WD Green in RAID 5 (stripe_size_cache = 256 - die Standardeinstellung)

CPU: Intel i7 920 (2,66 GHz, 6 GB RAM)

Geschwindigkeit: 60 MB / s sequentielles Schreiben, 138 MB / s sequentielles Lesen (gemäß Bonnie ++)

Es sieht also so aus, als ob die sequentielle Schreibleistung etwa 50% der Leseleistung beträgt.

Welche Leistung zu erwarten ist, sagt das Linux Raid Wiki über RAID 5:

Lesevorgänge ähneln fast RAID-0-Lesevorgängen. Schreibvorgänge können entweder recht teuer sein (das Einlesen vor dem Schreiben erfordert, um die richtigen Paritätsinformationen berechnen zu können, z. B. bei Datenbankoperationen), oder RAID-1 ähneln Schreibvorgänge (wenn größere sequentielle Schreibvorgänge ausgeführt werden und die Parität direkt aus den anderen zu schreibenden Blöcken berechnet werden kann).

Und zu RAID 6:

Die Leseleistung ähnelt der von RAID-5, die Schreibleistung ist jedoch schlechter.

Versuchen

echo 32768 > /sys/block/md0/md/stripe_cache_size

und prüfe ;)