Verschieben von Millionen von Dateien in ein anderes Verzeichnis mit bestimmten Namensmustern

Ich habe Millionen von Dateien mit der folgenden Nomenklatur auf einem Linux-Computer:

1559704165_a1ac6f55fef555ee.jpg

Die ersten 10 Ziffern sind Zeitstempel und diejenigen, denen ein folgt, _sind spezifische IDs. Ich möchte alle Dateien, die mit bestimmten Dateinamen-IDs übereinstimmen, in einen anderen Ordner verschieben.

Ich habe dies im Verzeichnis mit Dateien versucht

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Ich erhalte jedoch eine Fehlermeldung:

bash 1559704165_a1ac6f55fef555ee.jpg: command not found

Wenn ich es versucht habe, mv ??????????_a1ac*.jpg erhalte ich einen zu langen Fehler in der Argumentliste. Ich habe mindestens 15 verschiedene Dateinamenmuster. Wie bewege ich sie?

Du solltest benutzen:

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' \
-exec mv -t destination "{}" +

Das maxdepth 1heißt also, dass Sie im aktuellen Verzeichnis keine Unterverzeichnisse suchen möchten.

type f bedeutet, nur Dateien zu finden.

name '??????????_a1ac*.jpg' ist ein Muster, das mit der gesuchten Datei übereinstimmt.

mv -t destination "{}" +bedeutet, übereinstimmende Dateien an das Ziel zu verschieben. Hier werden +neue übereinstimmende Dateien zu vorherigen hinzugefügt, wie:

mv -t dest a b c d

Hier abcd sind verschiedene Dateien.

Dein Befehl,

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Leitet die Liste aller Dateien an alle Dateien weiter!

find . -maxdepth 1 -type f -name `*_a1ac*.jpg` -print0 |\
xargs  -0 -r mv -t "/home/ubuntu/ntest"

wird den Trick machen.

Du bist sehr nah. Sie sollten die -nameOption verwenden, um find. Und denken Sie daran, das Muster zu zitieren.

So

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' |xargs mv -t "/home/ubuntu/ntest"

Nicht so "gut" wie die findLösungen, aber eine andere gültige Lösung besteht darin, die mvBefehle detaillierter zu gestalten.

Dies führt 4096 Verschiebungen durch, wobei weniger mvOperationen pro Operation verschoben werden.

FILEPAT=a1ac
for i in $(seq $((0x000)) $((0xfff))); 
do 
   H=$(printf '%x\n' $i)
   mv 1559704165_${FILEPAT}${H}*.jpg /home/ubuntu/ntest
done

Wenn Sie Dateien auf demselben Hostsystem verschieben möchten, was Sie wahrscheinlich mit Ihrem tun mv, rsynckönnte dies eine schnellere Option sein:

rsync -av --inplace -W /source/??????????_a1ac*.jpg /home/ubuntu/ntest/

--inplaceund -Wsollen den Prozess beschleunigen.

Sollte dies zu einem zu langen Fehler einer anderen Argumentliste führen, können Sie Listen fütternrsync

Machen Sie die Liste zum Beispiel mit find

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' > /tmp/my_image_list.txt

und gib es rsync

rsync -av --inplace -W --files-from=/tmp/my_image_list.txt /path/to/files /home/ubuntu/ntest/

Die Quelle hier ist /path/to/files, weil rsyncdie Liste, die Sie geben, als relativ zu Ihrer Quelle behandelt wird.

Der Punkt ist: rsyncist schneller als mv, wenn sich die Dateien nicht im selben Dateisystem befinden .