Was ist der beste Weg, um eine parallele Kopie unter Unix durchzuführen?

Ich muss regelmäßig den Inhalt eines Ordners in einem Netzwerkdateisystem auf meinen lokalen Computer kopieren. Es gibt viele Dateien (1000s) im Remote-Ordner, die alle relativ klein sind. Aufgrund des Netzwerk-Overheads cp remote_folder/* ~/local_folder/dauert eine reguläre Kopie jedoch sehr lange (10 Minuten).

Ich glaube, es liegt daran, dass die Dateien nacheinander kopiert werden - jede Datei wartet, bis die vorherige abgeschlossen ist, bevor der Kopiervorgang beginnt.

Was ist der einfachste Weg, um die Geschwindigkeit dieser Kopie zu erhöhen? (Ich gehe davon aus, dass die Kopie parallel ausgeführt werden soll.)

Das Komprimieren der Dateien vor dem Kopieren beschleunigt die Arbeit nicht unbedingt, da sie möglicherweise alle auf verschiedenen Datenträgern auf verschiedenen Servern gespeichert sind.

Solange Sie die ausgeführten Kopierbefehle einschränken, können Sie möglicherweise ein Skript wie das von Scrutinizer bereitgestellte verwenden

SOURCEDIR="$1"
TARGETDIR="$2"
MAX_PARALLEL=4
nroffiles=$(ls "$SOURCEDIR" | wc -w)
setsize=$(( nroffiles/MAX_PARALLEL + 1 ))
ls -1 "$SOURCEDIR"/* | xargs -n "$setsize" | while read workset; do
  cp -p "$workset" "$TARGETDIR" &
done
wait

Wenn Sie GNU Parallel http://www.gnu.org/software/parallel/ installiert haben, können Sie dies tun:

parallel -j10 cp {} destdir/ ::: *

Sie können GNU Parallel einfach installieren, indem Sie:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

In den Introvideos zu GNU Parallel erfahren Sie mehr: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Eine Möglichkeit wäre, rsync zu verwenden, das nur die Änderungen kopiert - neue Dateien und die geänderten Teile anderer Dateien.

http://linux.die.net/man/1/rsync

Das Ausführen einer beliebigen Form des parallelen Kopiervorgangs wird wahrscheinlich Ihr Netzwerk überfluten und der Kopiervorgang wird nur zum Stillstand kommen oder an Engpässen auf der Quell- oder Zieldisk leiden.

Ehrlich gesagt ist das beste Tool Googles gsutil. Es werden parallele Kopien mit Verzeichnisrekursion verarbeitet. Die meisten anderen Methoden, die ich gesehen habe, können die Verzeichnisrekursion nicht verarbeiten. Sie erwähnen das lokale Dateisystem nicht ausdrücklich gegenüber lokalen Dateisystemkopien in ihren Dokumenten, aber es funktioniert wie ein Zauber.

Es ist eine weitere zu installierende Binärdatei, aber wahrscheinlich eine, die Sie bereits ausführen, wenn Sie die heutige Einführung von Cloud-Diensten in Betracht ziehen.

Parallele Synchronisation mit find:

export SOURCE_DIR=/a/path/to/nowhere
export DEST_DIR=/another/path/to/nowhere

# sync folder structure first
rsync -a -f'+ */' -f'- *' $SOURCE_DIR $DEST_DIR

# cwd
cd $SOURCE_DIR

# use find to help filter files etc. into list and pipe into gnu parallel to run 4 rsync jobs simultaneously
find . -type f | SHELL=/bin/sh parallel --linebuffer --jobs=4 'rsync -av {} $DEST_DIR/{//}/'

In einem Unternehmens-LAN erreicht Single-Rsync etwa 800 Mbit / s. Mit 6-8 Jobs kann ich über 2,5 Gbit / s erreichen (auf Kosten der hohen Auslastung). Begrenzt durch die Scheiben.

Abhängig von der Topologie, die Sie haben, müssen Sie möglicherweise viele Dinge berücksichtigen. Bevor Sie jedoch über komplexe Lösungen nachdenken, können Sie einfach versuchen, die Aufgabe auf zwei Jobs aufzuteilen und zu prüfen, ob sich der Zeitaufwand erheblich verringert:

Das nächste Mal versuchen:

  cp remote_folder/[a-l]* ~/local_folder/ &
  cp remote_folder/[!a-l]* ~/local_folder/ &
  wait
  wait

(Möglicherweise möchten Sie [al] * durch etwas anderes ersetzen, das ungefähr der Hälfte der Dateien entspricht - möglicherweise [0-4] * - abhängig vom Inhalt des Ordners.)

Wenn sich die Zeit nicht dramatisch verbessert, ist es möglicherweise wichtiger zu prüfen, ob alle Dateien kopiert werden müssen (wie hoch ist das Verhältnis von geänderten Dateien zu allen Dateien?)