Wie finde ich Dateien mit 100% NUL-Zeichen in ihrem Inhalt?

Was ist der Linux-Befehlszeilenbefehl, der solche Dateien identifizieren kann?

AFAIK der findBefehl (oder grep) kann nur übereinstimmen einer bestimmten Zeichenfolge in der Textdatei . Aber ich möchte den gesamten Inhalt abgleichen, dh ich möchte sehen, welche Dateien mit dem regulären Ausdruck übereinstimmen \0+, wobei die Zeilenendezeichen ignoriert werden . Vielleicht könnte das find . cat | grepIdiom funktionieren, aber ich weiß nicht, wie ich grep dazu bringen kann, Zeilen zu ignorieren (und die Datei als binär zu behandeln).

Hintergrund: Alle paar Tage, wenn mein Laptop einfriert, verliert meine btrfs-Partition Informationen: Zum Schreiben geöffnete Dateien werden durch Nullen ersetzt (die Größe der Datei bleibt mehr oder weniger intakt). Ich verwende die Synchronisation und möchte nicht, dass sich diese gefälschten Dateien verbreiten. Ich brauche eine Möglichkeit, sie zu identifizieren, damit ich sie aus dem Backup holen kann.

Sie können grepfür ␀ Zeichen den Perl-Regex-Modus verwenden:

$ echo -ne "\0\0" > nul.bin
$ echo -ne "\0x\0" > non-nul.bin
$ grep -P "[^\0]" *.bin
Binary file non-nul.bin matches

So können Sie dies verwenden:

for path in *.foo
do
    grep -P "[^\0]" "$path" || echo "$path"
done

Ich stimme dem zu, was D_Bye über das Finden der Problemwurzel sagt.

Wie auch immer, um zu überprüfen, ob eine Datei nur Folgendes enthält \0und / oder verwenden \nkönnte tr:

<file tr -d '\0\n' | wc -c

Wodurch 0 für null / newline und leere Dateien zurückgegeben wird.

Hier ist ein kleines Python-Programm, das das kann:

import sys
def chunkCheck(fileObject, chunkSize=1024):
    while True:
        data = fileObject.read(chunkSize)
        if not data:
            return False
        if data.strip("\0"):
            return True
sys.exit(chunkCheck(open(sys.argv[1])))

Und in Aktion:

$ printf '\0\0\0' > file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Only nulls
$ printf a >> file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Non-null characters

Sie können mehrere Dateien überprüfen , indem Sie finden die Verwendung von -exec, xargs, GNU parallel, und ähnliche Programme. Alternativ werden Dateinamen gedruckt, die behandelt werden müssen:

files=( file1 file2 )
for file in "${files[@]}"; do
    ./onlynulls "$file" || printf '%s\n' "$file"
done

Denken Sie daran, dass Dateinamen, wenn Sie die Ausgabe dieses Programms an ein anderes Programm übergeben, Zeilenumbrüche enthalten können \0 ).

Wenn Sie viele Dateien haben, ist es besser, eine Option für die parallele Verarbeitung zu verwenden, da nur jeweils eine Datei gelesen wird.

Ich vermute, diese Dateien sind spärlich, das heißt, ihnen ist kein Speicherplatz zugewiesen. Sie geben lediglich eine Dateigröße an (du würden 0 für sie melden).

In diesem Fall könnten Sie mit GNU find Folgendes tun (vorausgesetzt, kein Dateipfad enthält Zeilenumbruchzeichen):

find . -type f -size +0 -printf '%b:%p\n' | grep '^0:' | cut -d: -f2-

Suchen Sie nach Dateien, die nur Null-Zeichen '\ 0' und Zeilenumbrüche '\ n' enthalten.
Die qin sed Ursachen jede Datei sofort zu beenden sucht auf der Suche nach jedem Nicht-Null - Zeichen in einer Zeile.

find -type f -name 'file-*' |
  while IFS= read -r file ;do 
      out=$(sed -n '1=; /^\x00\+$/d; i non-null
                      ; q' "$file")
      [[ $out == "1" ]] &&  echo "$file"
  done

Testdateien erstellen

> file-empty
printf '%s\n' 'line1' 'line2' 'line3'      > file-with-text           
printf '%4s\n' '' '' xx | sed 's/ /\x00/g' > file-with-text-and-nulls
printf '%4s\n' '' '' '' | sed 's/ /\x00/g' > file-with-nulls-and-newlines
printf '%4s'   '' '' '' | sed 's/ /\x00/g' > file-with-nulls-only

Ausgabe

./file-with-nulls-and-newlines
./file-with-nulls-only

Python

Einzelne Datei

Definieren Sie den Alias:

alias is_binary="python -c 'import sys; sys.exit(not b\"\x00\" in open(sys.argv[1], \"rb\").read())'"

Probier es aus:

$ is_binary /etc/hosts; echo $?
1
$ is_binary `which which`; echo $?
0

Mehrere Dateien

Suche alle Binärdateien rekursiv:

IS_BINARY='import sys; sys.exit(not b"\x00" in open(sys.argv[1], "rb").read())'
find . -type f -exec bash -c "python -c '$IS_BINARY' {} && echo {}" \;

Um alle nicht-binären Dateien zu finden, ändern Sie &&mit ||.

Zur Verwendung von GNU sed können Sie die -zOption verwenden, die eine Zeile als nullterminierte Zeichenfolgen definiert und leere Zeilen wie folgt sucht und löscht:

if [ "$( sed -z '/^$/d' "$file" | head -c 1 | wc -c )" -eq 0 ]; then
    echo "$file contains only NULL!"
fi

Der Kopfbefehl dazwischen ist nur eine Optimierung.