Wie greife ich rekursiv durch .gz-Dateien?

Ich verwende ein Skript, um meine Google Mail-Nachrichten regelmäßig herunterzuladen, mit dem die RAW-EML in GZ-Dateien komprimiert wird. Das Skript erstellt für jeden Tag einen Ordner und komprimiert dann jede Nachricht in eine eigene Datei.

Ich möchte in diesem Archiv nach einem "String" suchen.

Grep allein scheint es nicht zu tun. Ich habe auch SearchMonkey ausprobiert.

Wenn Sie alle .eml.gz-Dateien im aktuellen Verzeichnis rekursiv bearbeiten möchten, können Sie Folgendes verwenden:

find . -name \*.eml.gz -print0 | xargs -0 zgrep "STRING"

Sie müssen zuerst das *Escapezeichen setzen, damit die Shell es nicht interpretiert. -print0weist find an, nach jeder gefundenen Datei ein Nullzeichen zu drucken; xargs -0Liest von der Standardeingabe und führt den Befehl danach für jede Datei aus. zgrepfunktioniert wie grep, dekomprimiert aber zuerst die Datei.

Hier herrscht viel Verwirrung, weil es nicht nur eine gibt zgrep. Ich habe zwei Versionen auf meinem System, zgrepvon gzipund zgrepvon zutils. Ersteres ist nur ein Wrapper-Skript, das aufgerufen wird gzip -cdfq. Der -r, --recursiveSchalter wird nicht unterstützt . ¹
Letzteres ist ein c++Programm und unterstützt die -r, --recursiveOption.
Beim Laufen zgrep --version | head -n 1wird angezeigt, welche davon (falls vorhanden) die Standardeinstellung ist:

zgrep (gzip) 1.6

ist das Wrapper-Skript,

zgrep (zutils) 1.3

ist die cppausführbare Datei.
Wenn Sie Letzteres haben, können Sie Folgendes ausführen:

zgrep 'pattern' -r --format=gz /path/to/dir

Auf jeden Fall funktioniert find+ , wie vorgeschlagen, zgrepmit beiden Versionen von zgrep:

find /path/to/dir -name '*.gz' -exec zgrep -- 'pattern' {} +

Wenn zgrepin Ihrem System etwas fehlt (höchst unwahrscheinlich), können Sie Folgendes versuchen:

find /path/to/dir -name '*.gz' -exec sh -c 'gzip -cd "$0" | grep -- "pattern"' {} \;

Aber es gibt einen großen Nachteil: Sie werden nicht wissen, wo die Übereinstimmungen sind, da den übereinstimmenden Zeilen kein Dateiname vorangestellt ist.

^{1: weil es problematisch wäre}

agist eine Variante von grep, mit ein paar netten Extras.

• hat die Option -z für komprimierte Dateien,
• hat viele ack Funktionen.
• es ist schnell

Damit:

ag -r -z your-pattern-goes-here   folder

Wenn nicht installiert,

apt-get install silversearcher-ag   (debian and friends)
yum install the_silver_searcher     (fedora)
brew install the_silver_searcher    (mac)

Rekursion allein ist einfach:

   -r, --recursive
          Read all files  under  each  directory,  recursively,  following
          symbolic  links  only  if they are on the command line.  This is
          equivalent to the -d recurse option.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

Für komprimierte Dateien benötigen Sie jedoch Folgendes:

shopt globstar 
for file in /path/to/directory/**/*gz; do zcat ""$file" | grep pattern; done

path/to/directory sollte das übergeordnete Verzeichnis sein, das die Unterverzeichnisse für jeden Tag enthält.

zgrepist die offensichtliche Antwort, aber leider wird die -rFlagge nicht unterstützt . Von man zgrep:

Diese grep-Optionen führen dazu, dass zgrep mit einem Fehlercode beendet wird: (- [d rR zZ] | --di * | --exc * | --inc * | --rec * | --nu *).

Wenn Ihr System über zgrep verfügt, können Sie dies einfach tun

zgrep -irs your-pattern-goes-here the-folder-to-search-goes-here/

Wenn Ihr System nicht über zgrep verfügt, können Sie den Befehl find verwenden , um zcat und grep für jede Datei wie folgt auszuführen:

find the-folder-to-search-goes-here/ -name '*.gz' \ -exec sh -c 'echo "Searching {}" ; zcat "{}" | grep your-pattern-goes-here ' \;

xzgrep -l "string" ./*/*.eml.gz

xzgrep ist eine Ableitung der zgrep-Utils (less / bin / xzgrep)

Von der Manpage:

xzgrep ruft grep (1) für Dateien auf, die entweder nicht komprimiert oder mit xz (1), lzma (1), gzip (1), bzip2 (1) oder lzop (1) komprimiert wurden. Alle angegebenen Optionen werden direkt an grep (1) übergeben.

-l gibt den passenden Dateinamen aus

-R für die Rekursion funktioniert nicht, da dies im Skript ausdrücklich verboten ist. Ein einfaches Shell-Globbing sollte uns jedoch dahin bringen

./*/*.eml.gz

Von einem relativen Pfad aus, in dem ./today/sample.eml.gz auf allen Instanzen übereinstimmt, die eine Ebene unter unserer relativen Position in der Shell liegen und mit ".eml.gz" endet.