Gibt es eine bequeme Möglichkeit, Dateien als "binär" oder "Text" zu klassifizieren?

Standard-Unix-Dienstprogramme mögen grepund diffverwenden eine Heuristik, um Dateien als "Text" oder "Binär" zu klassifizieren. (Eg grep's Ausgabe kann Zeilen wie enthalten Binary file frobozz matches.)

Gibt es einen bequemen Test, den man in einem zshSkript anwenden kann , um eine ähnliche "Text / Binär" -Klassifizierung durchzuführen? (Anders als so etwas grep '' somefile | grep -q Binary.)

(Mir ist klar, dass ein solcher Test notwendigerweise heuristisch und daher unvollkommen wäre.)

Wenn Sie fragen , fileum nur den MIME-Typ Sie viele verschiedene, wie zu bekommen text/x-shellscript, und application/x-executableetc, aber ich glaube , wenn Sie nur für den „Text“ Teil überprüfen sollten Sie gute Ergebnisse erzielen. ZB ( -bfür keinen Dateinamen in der Ausgabe):

file -b --mime-type filename | sed 's|/.*||'

Ein anderer Ansatz wäre die Verwendung isutf8aus der moreutils- Sammlung.

Es wird mit 0 beendet, wenn die Datei UTF-8 oder ASCII gültig ist, oder es werden Kurzschlüsse ausgegeben, eine Fehlermeldung ausgegeben (Stille mit -q) und ansonsten mit 1 beendet.

Wenn Ihnen die von GNU verwendete Heuristik gefällt grep, können Sie sie verwenden:

isbinary() {
  LC_MESSAGES=C grep -Hm1 '^' < "${1-$REPLY}" | grep -q '^Binary'
}

Es sucht nach NUL-Bytes im ersten Puffer, der aus der Datei gelesen wird (einige Kilobytes für eine reguläre Datei, aber viel weniger für eine Pipe oder einen Socket oder ähnliche Geräte /dev/random). In UTF-8-Ländereinstellungen werden auch Byte-Sequenzen markiert, die keine gültigen UTF-8-Zeichen bilden. Es wird davon LC_ALLausgegangen, dass die Sprache nicht Englisch ist.

Mit dem ${1-$REPLY}Formular können Sie es als zshGlob-Qualifikationsmerkmal verwenden:

ls -ld -- *(.+isbinary)

würde die Binärdateien auflisten.

Sie können versuchen, festzustellen, ob iconvdie Datei gelesen werden kann. Dies ist weniger performant als file(das liest nur ein paar Bytes von Anfang an), liefert aber zuverlässigere Ergebnisse:

ENCODING=utf-8
if iconv --from-code="$ENCODING" --to-code="$ENCODING" your_file.ext > /dev/null 2>&1; then
    echo text
else
    echo binary
fi

Dies ist im iconvGrunde genommen ein No-Op, aber wenn es auf ungültige Daten stößt (ungültiges UTF-8 in diesem Beispiel), wird es gesperrt und beendet.

Sie können ein Skript schreiben, das aufruft file, und mithilfe einer case-Anweisung prüfen, an welchen Fällen Sie interessiert sind.

Beispielsweise

#!/bin/sh
case $(file "$1") in
(*script*|*\ text|*\ text\ *)
    echo text
    ;;
(*)
    echo binary
    ;;
esac

Natürlich kann es viele Sonderfälle geben, die von Interesse sind. Wenn ich nur stringseine Kopie von ansehe libmagic, sehe ich ungefähr 200 Fälle, zB

Konqueror cookie text
Korn shell script text executable
LaTeX 2e document text
LaTeX document text
Linux Software Map entry text
Linux Software Map entry text (new format)
Linux kernel symbol map text
Lisp/Scheme program text
Lua script text executable
LyX document text
M3U playlist text
M4 macro processor script text

Einige verwenden die Zeichenfolge "Text" als Teil eines anderen Typs, z.

SoftQuad troff Context intermediate   
SoftQuad troff Context intermediate for AT&T 495 laser printer
SoftQuad troff Context intermediate for HP LaserJet

scriptkönnte ebenfalls Teil eines Wortes sein, aber ich sehe in diesem Fall keine Probleme. Ein Skript sollte jedoch nach "text"einem Wort suchen , nicht nach einer Teilzeichenfolge .

Zur Erinnerung, die fileAusgabe verwendet keine genaue Beschreibung, die immer "Skript" oder "Text" enthalten würde. Sonderfälle sind zu berücksichtigen. Ein Follow-up kommentierte, dass der --mime-typeAnsatz zwar nicht funktioniert, für .svgDateien. In einem Test sehe ich jedoch die folgenden Ergebnisse für svg-Dateien:

$ ls -l *.svg
-r--r--r-- 1 tom users  6679 Jul 26  2012 pumpkin_48x48.svg
-r--r--r-- 1 tom users 17372 Jul 30  2012 sink_48x48.svg
-r--r--r-- 1 tom users  5929 Jul 25  2012 vile_48x48.svg
-r--r--r-- 1 tom users  3553 Jul 28  2012 vile-mini.svg
$ file *.svg
pumpkin_48x48.svg: SVG Scalable Vector Graphics image
sink_48x48.svg:    SVG Scalable Vector Graphics image
vile-mini.svg:     SVG Scalable Vector Graphics image
vile_48x48.svg:    SVG Scalable Vector Graphics image
$ file --mime-type *.svg
pumpkin_48x48.svg: image/svg+xml
sink_48x48.svg:    image/svg+xml
vile-mini.svg:     image/svg+xml
vile_48x48.svg:    image/svg+xml

Die ich nach dem Betrachten von tausend Dateien ausgewählt habe, zeigen nur 6 mit "Text" in der MIME-Typ-Ausgabe. Argumentieren, am Ende der MIME-Typ Ausgabe nützlicher sein könnte , die „xml“ passend, sagt, als matching „SVG“, aber mit einem Skript zu tun , dass bringen Sie zurück auf den Vorschlag hier gemacht.

Die Ausgabe von fileerfordert einige Anpassungen in beiden Szenarien und ist nicht 100% zuverlässig (es wird von mehreren meiner Perl-Skripten verwirrt und nennt sie "Daten").

Es gibt mehr als eine Implementierung von file. Das am häufigsten verwendete erledigt seine Arbeit in libmagic, das von verschiedenen Programmen aus verwendet werden kann (vielleicht nicht direkt von zsh, obwohl pythonkann).

Gemäß der Vergleichstabelle für Dateitests für Shell, Perl, Ruby und Python verfügt Perl über eine -TOption, mit der diese Informationen bereitgestellt werden können. Es listet aber keine vergleichbare Funktion für zsh.

Weitere Lektüre:

• zsh glob-Qualifikationsmerkmal zum Ausschließen von Binärdateien

filehat eine Option --mime-encoding, die versucht, die Codierung einer Datei zu erkennen.

 $file --mime-encoding Documents/poster2.pdf 
Documents/poster2.pdf: binary
 $file --mime-encoding projects/linux/history-torvalds/Makefile 
projects/linux/history-torvalds/Makefile: us-ascii
 $file --mime-encoding graphe.tex 
Dgraphe.tex: us-ascii
 $file --mime-encoding software.tex 
software.tex: utf-8

Sie können file --mime-encoding | grep binaryfeststellen, ob es sich bei einer Datei um eine Binärdatei handelt. Es funktioniert zuverlässig, obwohl es durch ein einzelnes ungültiges Zeichen in einer langen Textdatei verwirrt werden kann.

Ich habe beispielsweise einen Alias catfür das folgende Shell-Skript, um zu vermeiden, dass mein Terminal versehentlich durch Öffnen einer Binärdatei zerstört wird:

#! /bin/sh -

[ ! -t 1 ] && exec /bin/cat "$@"
for i
do
    if file --mime-encoding -- "$i" | grep -q binary
    then
        hexdump -C -- "$i"
    else
        /bin/cat -- "$i"
    fi
done

Kategorien sind beliebig. Bevor Sie eine Klassifizierung vornehmen, benötigen Sie eine (strenge) Definition. Um eine Definition zu haben, brauchen Sie einen Zweck .

Also, was willst du mit dieser Klassifizierung machen?

• Wenn Sie unter FTP ASCII / Binary auswählen möchten, ist es wichtig, dass Sie eine Binärdatei nicht als ASCII übertragen (sonst wird sie beschädigt). Sie sollten also testen, ob es sich bei der Datei um reine Texte, HTML, RTF und einige andere handelt. Im Zweifelsfall wählen Sie binär. Und vielleicht möchten Sie auch testen, ob die Datei nur eine Teilmenge wie 0x0A, 0x0D und 0x20-0x7F enthält.
• Wenn Sie die Datei in einem Protokoll (POP3, SMTP) übertragen möchten, müssen Sie testen, ob die Codierung in base64 oder einfach nur normal erfolgt. In diesem Fall sollten Sie testen, ob nicht unterstützte Zeichen vorhanden sind.
• Jeder andere Fall ... kann eine andere Definition haben.

perl -e'chomp(my$f=<>);print "binary$/" if -B $f;print "text$/" if -T _'

werde es tun. Siehe Dokumentation für -Bund-T (suchen Sie auf dieser Seite nach der Zeichenfolge The -T and -B switches work as follows).

Ich habe zu https://github.com/audreyr/binaryornot beigetragen. Es gibt (noch) keinen Befehlszeilen-Wrapper, aber dies ist eine einfache Python-Bibliothek, die auch von der CLI aus leicht aufzurufen ist. Es wird eine ziemlich effiziente Heuristik verwendet, um festzustellen, ob es sich bei einer Datei um Text oder um eine Binärdatei handelt.

Ich habe jetzt diese Antwort ein bisschen alt, aber ich denke, mein Freund hat mir einen tollen "Hack" beigebracht, um dies zu tun.

Sie verwenden den diffBefehl und überprüfen Ihre Datei anhand einer Testtextdatei:

$ diff filetocheck testfile.txt

Wenn filetocheckes sich nun um eine Binärdatei handelt, wäre die Ausgabe:

Binary files filetocheck and testfile.txt differ

Auf diese Weise können Sie den diffBefehl nutzen und z. B. eine Funktion schreiben, die das Einchecken eines Skripts vornimmt.