Wie kann man rsync / tar von großen Maildir beschleunigen?

Ich habe einen sehr großen Maildir, den ich mit rsync auf einen neuen Computer (über 100BASE-T) kopiere. Der Fortschritt ist langsam. SEHR LANGSAM. Wie 1 MB / s langsam. Ich denke, das liegt daran, dass viele kleine Dateien in einer Reihenfolge gelesen werden, die im Wesentlichen zufällig ist, wo die Blöcke auf der Festplatte gespeichert sind, was zu einem massiven Suchsturm führt. Ich erhalte ähnliche Ergebnisse, wenn ich versuche, das Verzeichnis zu tarieren. Gibt es eine Möglichkeit, rsync / tar dazu zu bringen, in der Reihenfolge der Festplattenblöcke zu lesen, oder dieses Problem auf andere Weise zu überwinden?

Edit: Ich habe tar cf / dev / zero Maildir / ausprobiert und auf dem alten System hat dies 30 Minuten gedauert! Auf dem neuen System dauerte der gleiche Test 18 Minuten, als der Rsync endlich beendet war. Das Speichern des gleichen Verzeichnisses auf dem alten System dauerte 8 Minuten, und auf dem neuen System war das Speichern von -0f / dev / zero -b 1024 / home / psusi / Maildir / in nur 30 Sekunden abgeschlossen.

Am Ende habe ich ein kleines Python-Skript geschrieben, um die Korrelation zwischen Verzeichnisnamen und Inodes, Inodes und Datenblöcken sowie Verzeichnisnamen zu Datenblöcken zu berechnen. Es stellt sich heraus, dass ext4 tendenziell eine eher schlechte Korrelation zwischen der Reihenfolge, in der die Dateinamen im Verzeichnis angezeigt werden, und der Position, in der sie auf der Festplatte gespeichert sind, aufweist. Nach der Diskussion in der ext4-Mailingliste stellt sich heraus, dass dies das Ergebnis der Hash-Verzeichnisindizes ist, mit denen die Suche in großen Verzeichnissen beschleunigt wird. Die Namen werden in Hash-Reihenfolge gespeichert, wodurch ihre Reihenfolge relativ zu allem anderen effektiv verschlüsselt wird.

Es scheint mir und mindestens einem anderen Kommentator, dass dies ein Mangel an fs ist, der behoben werden sollte. Ted Ts'o (der ext-Betreuer) ist der Meinung, dass es zu schwierig wäre, dies in der fs zu tun, und dass gute Tools (wie rsync und tar) die Option haben sollten, das Verzeichnis vor der Inode-Nummer zu sortieren, bevor die Dateien gelesen werden.

Es sieht also so aus, als müssten Anfragen zur Funktionserweiterung für rsync und tar eingereicht werden.

Einige Punkte zu beachten:

• Über wie viele Dateien sprechen wir? find /path/to/your/maildir/ | wc -lsollte Ihnen einen groben Hinweis geben. Hunderttausende sollten in Ordnung sein. Hunderte von Millionen könnten darauf hindeuten, dass Sie beschneiden, archivieren und allgemein bereinigen müssen.

• Ist die Festplatte langsam? Es stehen viele Benchmarks zur Verfügung, darunter ein umfassender bonnie++bis hin zum schnellen und einfachen Disk Utility-Benchmarker. Führen Sie eine aus und sehen Sie, ob Sie leiden.

  • Dies kann zu Hardwareproblemen führen - ersetzen Sie diese durch etwas schnelleres
  • Probleme mit dem Dateisystem - Verwenden Sie etwas, von dem bekannt ist, dass es bei hohen zufälligen Lese-IOPS sehr langsam ist?

Aber letztlich tarRing und dann die Übertragung sollten Sie den besten auf Kosten der Gesamtdurchsatz geben von Ihnen benötigen es , um die Übertragung aufzubauen , sobald Sie den Teer erzeugt haben.

Versuchen Sie, die Deaktivierung der Zeiterfassung zu deaktivieren oder die relative Zeit auf der neuen Festplattenpartition zu verwenden. Dies begrenzt den Overhead. Der Wechsel von einem Nicht-Journaling-Dateisystem wie ext2 zu einem Journaling-Dateisystem wie ext3 oder ext4 führt zu einigen Leistungseinbußen

Als ich Maildirs verlegte, führte ich eine vorbereitende Synchronisierung durch, um alle Verzeichnisse im Voraus einzurichten. Dann gab es nur noch Updates zu tun.

Wenn Sie bereit sind, den eigentlichen Schritt auszuführen, möchten Sie möglicherweise sicherstellen, dass die Verzeichnisse stabil sind.

• Versetzen Sie den SMTP-Dämon in den Nur-Warteschlangen-Modus.
• Deaktivieren Sie die Warteschlange, die vom SMTP-Dämon ausgeführt wird, und
• Deaktivieren Sie den Zugriff durch den Benutzer.

Reaktivieren Sie nach dem Verschieben der Datei.

EDIT: Ich denke, Sie haben das Problem identifiziert. Tar und rsync durchsuchen beide die Verzeichnisse. Aufgrund normaler Dateiänderungen im Maildir werden Dateien für jedes Verzeichnis auf der Festplatte verteilt. Ein Tool wie dump würde die Partition in Blockreihenfolge lesen, das Problem jedoch auf die neue Partition replizieren. Ein zweiter Rsync sollte viel schneller als der zweite ausgeführt werden.