Ich habe in den letzten Tagen mit obnam herumgespielt, und obwohl es sehr vielversprechend aussieht und im Grunde alles zu bieten scheint, was ich jemals von einem Backup-Tool wollte, bin ich ziemlich enttäuscht von seiner Leistung. Tatsächlich ist es so langsam, dass ich vermute, dass obnam hier nicht einmal schuld ist, aber etwas in meiner Umgebung verursacht es.
Ich frage mich also hauptsächlich, ob jemand anderes obnam verwendet oder dessen Interna gut genug kennt, um das Problem möglicherweise zu identifizieren.
Nach allem, was ich bisher sagen konnte, scheint obnam für jede gesicherte Datei einen individuellen GPG-Prozess zu erstellen. Gemessen an htop, strace und iostat wird die Geschwindigkeit einer ersten Sicherung hauptsächlich durch das ständige Gabeln begrenzt, während die CPU und die Laufwerke (es ist kein Netzwerk beteiligt) im Leerlauf unter 20% ausgelastet sind.
Mein Backup beläuft sich auf ungefähr 500.000 Dateien mit insgesamt 170 GiB Daten. Für jeden Sicherungslauf wird gpg also 500.000 Mal gegabelt. Ich bin eigentlich nicht einmal überrascht, dass dies für den ersten Lauf fast einen ganzen Tag und für einen weiteren Lauf über drei Stunden dauert, wobei die meisten Dateien unverändert bleiben. Aber ist dies wirklich die Leistung, die Benutzer von obnam erwarten sollten? Zum Vergleich: Ein inkrementeller Lauf von rsnapshot (gleiche Daten, gleicher Computer, gleiche Laufwerke) dauert ungefähr vier Minuten. Zugegeben, es gibt keine Verschlüsselung beteiligt, aber dies sollte nicht sein , dass signifikant.
Um es klar zu sagen: Kann der Computer aller anderen nicht mehr als 50 Mal pro Sekunde gpg (Verschlüsselung eines kleinen Datenblocks) ausführen, was obnam letztendlich zu einem fast ungewöhnlich langsamen Tool macht? Oder bin es nur ich?
(FWIW, mein Computer ist ein Core i5-2500 mit 8 GB RAM und SSD-Laufwerken, auf dem Gentoo ausgeführt wird. Die Sicherung erfolgt auf einer Festplatte, aber ich konnte keinen Unterschied zum Sichern auf der SSD feststellen, da es sich nicht um E / A handelt -gebunden.)
quelle
--lru-size=256 --upload-queue-size=128
Was wäre ein guter Wert auf meinem Ubuntu mit 8 GB RAM, der auf einem ziemlich langsamen Online-Server mit nur 2 GB RAM gesichert werden sollte?Ich denke, ich würde dieses Problem auf verschiedene Arten angreifen. Für den Anfang würde ich versuchen, es selbst mit den folgenden Methoden zu diagnostizieren.
1. obnam logs
Für den Anfang können Sie Nachrichten
obnam
wie folgt protokollieren :Sie können die Protokollierungsstufe auch über den
--log-level
Schalter erhöhen , um weitere Details zu erhalten.2. Profilerstellung
obnam
Aus diesem Auszug in den FAQs des Projekts können Sie auch ein Profil der folgenden Aktionen abrufen :3. Öffnen Sie ein Ticket
Wenn die Leistung bei einer selbstgesteuerten Untersuchung immer noch nicht bestimmt ist, würde ich ein Ticket auf der Website des Projekts öffnen . Nach allem, was ich sammeln konnte, sind die Entwickler etwas reaktionsschnell und sie sind wahrscheinlich am besten in der Lage, Probleme mit ihrem Projekt auszurotten.
obnam
scheint nur SFTP zu verwenden, daher sollte es ziemlich offensichtlich sein, was das Problem verursacht. Ich würde auch in Betracht ziehen, die SFTP-Leistung selbst zu bestimmen, damit Sie sehen können, wie hoch das theoretische Maximum für Ihre System- und Netzwerkverbindung sein sollte, bevor Sie versuchen, diese Informationen aus denobnam
Tests selbst herauszuholen .Zusätzliche Datenpunkte
# 1 - Blog-Beitrag zum Vergleich von obnam und rsnapshotIch habe diesen Blog-Beitrag gefunden, in dem der Autor mehrere Optionen in dieser Kategorie verglichen hat. Der Artikel trägt den Titel: Vergleichen von rsnapshot und obnam für geplante große Sicherungen .
Der Artikel hob eine sehr schlechte Leistung hervor, IMO, die mit dem
obnam
, was Sie beschreiben, zu leben scheint.obnam leistung
rsnapshot Leistung
* Dachboden gegen ObnamNicht so gründlich , sondern macht erwähnen , dass einer der Nachteile
obnam
ist , dass es sehr langsam im Vergleichattic
.Es werden einige Testdaten angezeigt, die darauf hinweisen, dass dies
obnam
nur sehr langsam ist.Verweise
quelle
Die Standardkonfiguration von Obnam (Stand 08.02.2015) eignet sich nicht zum Sichern von Verzeichnissen mit einer großen Anzahl kleiner Dateien. Ich hatte genau das gleiche Problem wie oben erwähnt.
Die Lösung für mich bestand darin, der Befehlszeile --lru-size = 8192 --upload-queue-size = 8192 hinzuzufügen. Dies löste das Problem und verwandelte einen frustrierten in einen sehr glücklichen Obnam-Benutzer. (Ich habe diese Einstellungen jetzt in meinen Standardkonfigurationsdateien.)
Leider wird in Obnams Tutorial nicht im Voraus erwähnt, wie wichtig diese Einstellungen sind. Die FAQ enthält weitere Details. Das Einstellen der Leistungsparameter ist auf Systemen mit vielen kleinen Dateien wirklich obligatorisch.
quelle