Warum werden nicht alle Dateien komprimiert und wie kann die Lösung verbessert werden?

Ich habe einen Ordner mit ca. 20K Dateien. Die Dateien werden nach dem Muster benannt xy_{\d1,5}_{\d4}\.abc, z xy_12345_1234.abc. Ich wollte die ersten 10 KB mit diesem Befehl komprimieren:

ls | sort -n -k1.4,1.9 | head -n10000 | xargs tar -czf xy_0_10000.tar.gz

Die resultierende Datei enthielt jedoch nur etwa 2K-Dateien.

ls | sort -n -k1.4,1.9 | head -n10000 | wc -l Gibt jedoch erwartungsgemäß 10000 zurück.

Es scheint mir, dass ich hier etwas Grundlegendes falsch verstehe ...

Ich verwende zsh 5.0.2 unter Linux Mint 17.1, GNU tar 1.27.1

BEARBEITEN:

Das von @Archemar vorgeschlagene Forking klingt sehr plausibel, wobei die neueste Fork die resultierende Datei überschreibt - die Datei enthält den 'Schwanz' der Dateien - 7773 bis 9999 .

Ergebnis von xargs --show-limit: Your environment variables take up 3973 bytes POSIX upper limit on argument length (this system): 2091131 POSIX smallest allowable upper limit on argument length (all systems): 4096 Maximum length of command we could actually use: 2087158 Size of command buffer we are actually using: 131072

Ersetzen -cdurch -roder -uhat in meinem Fall nicht funktioniert. Die Fehlermeldung wartar: Cannot update compressed archives

mit beiden -rund -uist ungültig und schlägt fehl mittar: You may not specify more than one '-Acdtrux', '--delete' or '--test-label' option

Das Ersetzen -cdurch -ascheint ebenfalls ungültig zu sein und schlägt damit fehl, tar: You must specify one of the '-Acdtrux', '--delete' or '--test-label' optionsobwohl ich das Problem nicht erkenne azfund Acdtruxmir unzusammenhängend vorkomme.

EDIT 2:

-T sieht nach einem guten Weg aus, ich habe hier auch ein Beispiel gefunden .

Jedoch wenn ich es versuche

ls | sort -n -k1.4,1.9 | head -n10000 | tar -czf xy_0_10000.tar.gz -T - Ich bekomme tar: option requires an argument -- 'T'

Nun, vielleicht erreichen die Dateinamen nicht Teer? Aber es sieht so aus, als ob sie es tun, wenn ich es ausführe

ls | sort -n -k1.4,1.9 | head -n10000 | tar --null -czf xy_0_10000.tar.gz -T - Ich bekomme tar: xy_0_.ab\nxy_1_...<the rest of filenames separated by literal \n>...998.ab Cannot stat: File name too long

Warum sieht Teer die Dateinamen nicht?

Du hast das Xargs-Limit erreicht?

xargs --show-limit

Versuchen :

• Erstellen Sie eine Dummy- .tgzDateitar czf xy_0_10000.tar.gz /hello/world
• ersetzen -czfdurch -Azf

Wenn xarg sein Limit erreicht hat, wird es den Befehl geben, also war der Befehl, den Sie letztendlich ausgeführt haben, der Befehl

  tar czf xy_0_10000.tar.gz file1 file2 .... file666
  tar czf xy_0_10000.tar.gz file667 file668 ... file1203
  tar czf xy_0_10000.tar.gz file1024 ... file2000

Da jeder Teer den vorherigen überschreibt, sollten Sie nur den letzten tar cLauf erhalten.

Bearbeiten:

1) nach man taron unbuntu, -aund -r scheint gleichwertig zu sein, wird angehängt von (entweder) -A, --catenate, --concatenate

2) zip(nicht gzip) kann zum Hinzufügen von Dateien verwendet werden, möglicherweise reicht eine gzip-Option aus. (Verwenden Sie | xargs zip -qr xy_0_0000.zip, dies führt zu einer Zip-Datei, jedoch nicht zu einer .tar.gz)

3) um die Lösung von @ rsanchez zu verwenden
Es ist wichtig, die Option tar ordnungsgemäß hinzuzufügen, versuchen Sie es

ls | sort -n -k1.4,1.9 | head -n10000 |tar -czf xy_0_10000.tar.gz -T -

where - -T -mean use option -Tund use -als Argument für -T(Sie könnten eine Liste von Dateien in generieren /tmp/foo.lstund dann verwenden -T /tmp/foo.lst)

Es besteht keine Notwendigkeit für xargs. Wenn Sie tardie -T -Option direkt angeben, werden die Dateinamen von der Standardeingabe gelesen .

Zum Beispiel:

... | tar -T - -czf xy_0_10000.tar.gz

Ich möchte die beiden anderen Antworten mit einer zsh- Lösung ergänzen , die weder ls analysiert noch xargs benötigt . Ich bin mir derzeit jedoch nicht sicher, ob es auch unter der Begrenzung der Kommandozeilenlänge leidet.

1. Definieren Sie eine Funktion, die durch Ändern den gewünschten Sortierschlüssel generiert $REPLY.

   sortkey() { REPLY=${REPLY[4,9]} }

   Dies entspricht Ihrem sort -n -k1.4,1.9

2. Generieren Sie ein Array $filesmit den Dateinamen, sortiert nach der obigen Funktion:

   files=(*(o+sortkey))

   Dies entspricht ls | sort -n -k1.4,1.9

3. Geben Sie die ersten 10 000 Dateien mit zurück

   ${files[0,9999]}

   Dies entspricht ls | sort -n -k1.4,1.9 | head -n10000

Alles in allem sollte dies also den Trick tun:

sortkey() { REPLY=${REPLY[4,9]} }
files=(*(o+sortkey))
tar -czf xy_0_10000.tar.gz ${files[0,9999]}