Die Festplattenlatenz nimmt seit einigen Tagen zu, ohne dass sich der Festplattendurchsatz speziell ändert

7

Hier ist das Diagramm zur Festplattenlatenz meines Servers. Der Server verfügt über zwei 32-MB-Cache-SATA-3.0-Gbit / s- Festplatten mit 5400 U / min und Software-RAID 1-Konfiguration. In jenen Tagen sind keine besonderen Änderungen eingetreten, und wie Sie in der nächsten Grafik sehen können, zeigt IO normale Schwankungen. (Der erste Peak wird durch einen wöchentlichen Mais verursacht)

Es bedient 130.000 eindeutige Besucher pro Tag mit über 2 Millionen Seitenaufrufen pro Tag, die hauptsächlich von memcache bedient werden.

Festplattenlatenz pro Gerät

Festplatten-E / A pro Gerät

Ich kann nicht herausfinden, was das Problem verursacht.

hard-drive performance Reza Mohammadi
quelle
1
Nicht, dass es Ihre Frage beantwortet, aber die schlechten Nachrichten von SATA auf einem Server und SATA mit 5400 U / min? <shudder> Ich würde mich freuen, dieses Problem auf die besonders langsame Spindeldrehzahl und die Laufwerke für Endverbraucher in einem Server zurückführen zu können und es als Gelegenheit zu nutzen, meine Festplattenlaufwerke zu aktualisieren.
HopelessN00b
1
SATA-Laufwerke waren ursprünglich auf Nicht-RAID-Desktops ausgerichtet und werden daher bei Fehlern immer wieder wiederholt (im Gegensatz zu FC-Unternehmenslaufwerken, die sofort einen Fehler zurückgeben). Sie können also hier nur den langsamen Tod eines Laufwerks sehen.
ChrisH

Antworten:

9

Hier kann eine Reihe von Dingen am Werk sein.

1) Ihre E / A-Last nimmt zu.
In Ihren Diagrammen oder Informationen wird nicht angezeigt, wie Ihre E / A-Last ist. Verbringt Ihr System mehr Zeit in IO Wait? Ändern sich die Tiefen für Ihre Lese- / Schreibwarteschlangen? Wenn dies der Fall ist, würde ich vorschlagen, dass Laufwerke mit 5400 U / min für Ihre Anforderungen möglicherweise viel zu langsam sind. Je langsamer die Spindeldrehzahl (U / min) ist, desto länger dauert es, bis der Lesekopf ein Datenelement gefunden hat.

1a) Fragmentierung von Daten
Dies hängt stark von Ihren E / A-Ladeeigenschaften ab. Möglicherweise ist Ihr Dateisystem jedoch stark fragmentiert, sodass das Lesen größerer Datenblöcke länger dauert.

2) Swap Space Thrashing
Was ist mit dem Speicher Ihres Systems los? Geht dem System der Speicher aus und muss jetzt die Auslagerungsdatei zerstört werden? Wenn dies der Fall ist, weist Ihr System insgesamt wahrscheinlich eine Langsamkeit auf. Überprüfen Sie in jedem Fall Ihre Prozesstabelle.

3) Möglicher bevorstehender Festplattenfehler
Es ist möglich, dass eine Festplatte ausfällt. Ich würde vorschlagen, dass Sie die smartmon-Tools installieren und die SMART-Daten mit dem Dienstprogramm smartctl anzeigen.

Roter Smoking
quelle
3

@ Red Tux Antwort macht Sinn. kann ohne ein paar weitere Details nicht genau antworten:

  1. Was macht der Server? es ist DB oder Dateiserver oder Web / App Server?
    • DB dann möglicherweise nach 1a suchen)
    • Web / App dann suchen 2)
    • Dateiserver suchen Sie dann nach 3)
  2. vmstat und iostat report helfen. Laufen Sie mit einer Verzögerung von 5 bis 10 Sekunden während des Peeks für 1 Minute und senden Sie.
Amin Abbaspour
quelle