Wie kann verhindert werden, dass das Entfernen von Teilbäumen (`rm -rf`) andere Prozesse für Festplatten-E / A aushungert?

Wir haben ein sehr großes (Multi-GB) Nginx-Cache-Verzeichnis für eine ausgelastete Site, das wir gelegentlich auf einmal löschen müssen. Ich habe dies in der Vergangenheit gelöst, indem ich den Cache-Ordner in einen neuen Pfad verschoben, einen neuen Cache-Ordner am alten Pfad erstellt und dann rm -rfden alten Cache-Ordner erstellt habe.

In letzter Zeit, wenn ich den Cache an einem geschäftigen Morgen leeren muss, rm -rfhungert die E / A von meinen Serverprozessen nach dem Festplattenzugriff, da sowohl Nginx als auch der Server, für den es verfügbar ist, leseintensiv sind. Ich kann den Anstieg des Lastdurchschnitts beobachten, während die CPUs im Leerlauf sitzen und rm -rf98-99% der Festplatten-E / A aufnehmen iotop.

Ich habe es ionice -c 3beim Aufrufen versucht rm, aber es scheint keine nennenswerte Auswirkung auf das beobachtete Verhalten zu haben.

Gibt es eine Möglichkeit zu zähmen rm -rf, um die Festplatte mehr zu teilen? Muss ich eine andere Technik verwenden, die sich an ihnen orientiert ionice?

Aktualisieren:

Das betreffende Dateisystem ist ein AWS EC2-Instanzspeicher (die primäre Festplatte ist EBS). Der /etc/fstabEintrag sieht folgendermaßen aus:

/dev/xvdb       /mnt    auto    defaults,nobootwait,comment=cloudconfig 0       2

Alle auf dieser Seite gesammelten Daten. Im Folgenden finden Sie einige Optionen zum Löschen eines großen Dateiverzeichnisses. In der Beschreibung finden Sie Einzelheiten dazu, wie dies hergestellt wurde.

Befehl verstrichene Systemzeit% CPU cs1 * (Vol / Invol)
rsync -a –delete leer / a 10,60 1,31 95% 106/22
finde b / -Typ f-lösche 28,51 14,46 52% 14849/11
finde c / -Typ f | xargs -L 100 rm 41,69 20,60 54% 37048/15074
finde d / -Typ f | xargs -L 100 -P 100 rm 34,32 27,82 89% 929897/21720
rm-rf f 31,29 14,80 47% 15134/11

* cs1 ist ein freiwilliger und unfreiwilliger Kontextwechsel

Durch das Entfernen von Dateien werden nur Metadatenoperationen im Dateisystem ausgeführt, die nicht von ionice beeinflusst werden.

Der einfachste Weg wäre, wenn Sie den Speicherplatz gerade nicht benötigen, dies außerhalb der Spitzenzeiten durchzuführen rm.

Die komplexere Art und Weise, wie MIGHT arbeiten könnte, besteht darin, die Löschvorgänge über die Zeit zu verteilen. Sie können Folgendes versuchen (beachten Sie, dass Ihre Pfade und Dateinamen KEINE Leerzeichen enthalten!):

while find dir -type f | head -n 100 | xargs rm; do sleep 2; done
while find dir -type d -depth | head -n 100 | xargs rmdir; do sleep 2; done

Beachten Sie auch, dass Sie rm -fden ersten Befehl nicht verwenden können, da die Schleife dann nicht gestoppt wird (dies hängt vom Fehler-Exit-Code ab, rmwenn kein Argument vorhanden ist).

Sie können es optimieren, indem Sie die Anzahl der Löschvorgänge pro Zyklus (im Beispiel 100) und die Schlafdauer ändern. Es funktioniert jedoch möglicherweise nicht wirklich, da das Dateisystem die Metadatenaktualisierungen möglicherweise immer noch so zusammenfasst, dass Sie Probleme mit Ihrer E / A-Last bekommen. Sie müssen es nur versuchen.

Sie können es mit dem Befehl "nice" koppeln. ionice -c 3 nice -19 rm -rf /some/folder

Dies ändert die Priorität des Prozesses auf der Maschine.