Wie grep ich eine Textdatei, die einige Binärdaten enthält?

grep kehrt zurück

Die Binärdatei test.log stimmt überein

Beispielsweise

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Ich wünschte, das Ergebnis würde Zeile 1 und Zeile 3 (insgesamt zwei Zeilen) anzeigen.

Ist es möglich tr, die nicht druckbaren Daten in lesbare Daten umzuwandeln, damit grep wieder funktioniert?

Sie können die Datendatei cat -vz

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

die dann weiter nachbearbeitet werden könnte, um den Müll zu entfernen; Dies ist am analogsten zu Ihrer Abfrage zur Verwendung trfür die Aufgabe.

grep -a

Einfacher geht es nicht.

Eine Möglichkeit besteht darin, Binärdateien ohnehin einfach als Text zu behandeln. grep --textDies kann jedoch dazu führen, dass Binärinformationen an Ihr Terminal gesendet werden. Das ist keine gute Idee, wenn Sie ein Terminal verwenden, das den Ausgabestream interpretiert (z. B. VT / DEC oder viele andere).

Alternativ können Sie Ihre Datei trmit dem folgenden Befehl senden :

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Dadurch wird weniger als ein Leerzeichen (außer Zeilenumbruch) und mehr als 126 in ein .Zeichen umgewandelt, wobei nur die Ausdrucke übrig bleiben .

Wenn Sie möchten, dass jedes "illegale" Zeichen durch ein anderes ersetzt wird, können Sie das folgende C-Programm verwenden, einen klassischen Standardeingabefilter:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Dies gibt Ihnen an {{NN}}, wo NNsich der Hex-Code für das Zeichen befindet. Sie können das einfach printffür jeden gewünschten Ausgabestil anpassen .

Sie können dieses Programm hier in Aktion sehen, wo es:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Sie können beispielsweise "Zeichenfolgen" verwenden, um Zeichenfolgen aus einer Binärdatei zu extrahieren

strings binary.file | grep foo

Sie können grep zwingen, Binärdateien anzuzeigen mit:

grep --binary-files=text

Vielleicht möchten Sie auch -o( --only-matching) hinzufügen, damit Sie nicht Tonnen von binärem Kauderwelsch erhalten, der Ihr Terminal belastet.

Ab Grep 2.21 werden Binärdateien unterschiedlich behandelt :

Bei der Suche nach Binärdaten kann grep jetzt Nicht-Text-Bytes als Zeilenabschluss behandeln. Dies kann die Leistung erheblich steigern.

Was jetzt passiert, ist, dass bei Binärdaten alle Nicht-Text-Bytes (einschließlich Zeilenumbrüche) als Zeilenabschlüsse behandelt werden. Wenn Sie dieses Verhalten ändern möchten, können Sie:

• verwenden --text. Dadurch wird sichergestellt, dass nur Zeilenumbrüche Leitungsabschlusszeichen sind

• verwenden --null-data. Dadurch wird sichergestellt, dass nur Nullbytes Zeilenabschlusszeichen sind

grep -a erzwingt die Suche und Ausgabe von grep aus einer Datei, die grep für binär hält. grep -a re test.log

Wie James Selvakumar bereits sagte, grep -amacht er den Trick. -a oder --text zwingt Grep, den Eingabestream als Text zu behandeln. Siehe Manpage http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

Versuchen

cat test.log | grep -a somestring

du kannst tun

strings test.log | grep -i

Dadurch wird die Ausgabe von give als lesbare Zeichenfolge in grep konvertiert.

Sie können auch das Word Extractor- Tool ausprobieren . Word Extractor kann mit jeder Datei auf Ihrem Computer verwendet werden, um die Zeichenfolgen, die menschlichen Text / Wörter enthalten, vom Binärcode (exe-Anwendungen, DLLs) zu trennen.

Folgendes habe ich in einem System verwendet, in dem der Befehl "strings" nicht installiert war

cat yourfilename | tr -cd "[:print:]"

Dies druckt den Text und entfernt nicht druckbare Zeichen auf einen Schlag, im Gegensatz zu "cat -v filename", bei dem eine Nachbearbeitung erforderlich ist, um unerwünschte Inhalte zu entfernen. Beachten Sie, dass einige der Binärdaten möglicherweise druckbar sind, sodass Sie immer noch etwas Kauderwelsch zwischen den guten Sachen bekommen. Ich denke, Strings entfernen auch diesen Kauderwelsch, wenn Sie das verwenden können.