Verwenden Sie awk, um die Byte-Reihenfolge zu entfernen

Wie würde ein awkSkript (vermutlich ein Einzeiler) zum Entfernen einer Stückliste aussehen?

Spezifikation:

• drucke jede Zeile nach der ersten ( NR > 1)
• für die erste Zeile: Wenn es mit #FE #FFoder beginnt #FF #FE, entfernen Sie diese und drucken Sie den Rest

Versuche dies:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILE

Entfernen Sie im ersten Datensatz (Zeile) die Stücklistenzeichen. Drucken Sie jeden Datensatz.

Oder etwas kürzer, wenn Sie wissen, dass die Standardaktion in awk darin besteht, den Datensatz zu drucken:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}1' INFILE > OUTFILE

1 ist die kürzeste Bedingung, die immer als wahr ausgewertet wird, sodass jeder Datensatz gedruckt wird.

Genießen!

- ADDENDUM -

Die häufig gestellten Fragen zu Unicode Byte Order Mark (BOM) enthalten die folgende Tabelle mit den genauen Stücklistenbytes für jede Codierung:

Bytes         |  Encoding Form
--------------------------------------
00 00 FE FF   |  UTF-32, big-endian
FF FE 00 00   |  UTF-32, little-endian
FE FF         |  UTF-16, big-endian
FF FE         |  UTF-16, little-endian
EF BB BF      |  UTF-8

So können Sie aus der obigen Tabelle sehen, wie Stücklistenbytes \xef\xbb\xbfentsprechen EF BB BF UTF-8.

Verwenden von GNU sed(unter Linux oder Cygwin):

# Removing BOM from all text files in current directory:
sed -i '1 s/^\xef\xbb\xbf//' *.txt

Auf FreeBSD:

sed -i .bak '1 s/^\xef\xbb\xbf//' *.txt

Vorteil der Verwendung von GNU oder FreeBSD sed: Der -iParameter bedeutet "an Ort und Stelle" und aktualisiert Dateien, ohne dass Umleitungen oder seltsame Tricks erforderlich sind.

Auf dem Mac:

Diese awkLösung in einer anderen Antwort funktioniert , aber der sedobige Befehl funktioniert nicht. Zumindest in der Mac (Sierra) sed-Dokumentation wird nicht erwähnt, dass hexadezimales Escape-Ala unterstützt wird \xef.

Ein ähnlicher Trick kann mit jedem Programm erreicht werden, indem spongevon moreutils zum Werkzeug geleitet wird :

awk '…' INFILE | sponge INFILE

Nicht awk, aber einfacher:

tail -c +4 UTF8 > UTF8.nobom

So überprüfen Sie die Stückliste:

hd -n 3 UTF8

Wenn Stückliste vorhanden ist, sehen Sie: 00000000 ef bb bf ...

Zusätzlich zum Konvertieren von CRLF-Zeilenenden in LF werden dos2unixauch Stücklisten entfernt:

dos2unix *.txt

dos2unix konvertiert auch UTF-16-Dateien mit einer Stückliste (jedoch nicht UTF-16-Dateien ohne Stückliste) in UTF-8 ohne Stückliste:

$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16be>bom-utf16be
$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16le>bom-utf16le
$ printf '\ufeffä\n'>bom-utf8
$ printf 'ä\n'|iconv -f utf-8 -t utf-16be>utf16be
$ printf 'ä\n'|iconv -f utf-8 -t utf-16le>utf16le
$ printf 'ä\n'>utf8
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be feff00e4000a
bom-utf16le fffee4000a00
   bom-utf8 efbbbfc3a40a
    utf16be 00e4000a
    utf16le e4000a00
       utf8 c3a40a
$ dos2unix -q *
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be c3a40a
bom-utf16le c3a40a
   bom-utf8 c3a40a
    utf16be 00e4000a
    utf16le e4000a00
       utf8 c3a40a

Ich weiß, dass die Frage an Unix / Linux gerichtet war, dachte, es wäre wert, eine gute Option für Unix-herausgeforderte (unter Windows, mit einer Benutzeroberfläche) zu erwähnen.
Bei einem WordPress-Projekt stieß ich auf dasselbe Problem (die Stückliste verursachte Probleme mit dem RSS-Feed und der Seitenüberprüfung) und musste alle Dateien in einem ziemlich großen Verzeichnisbaum untersuchen, um die Datei mit der Stückliste zu finden. Es wurde eine Anwendung namens Replace Pioneer gefunden und darin:

Batch Runner -> Suchen (um alle Dateien in den Unterordnern zu finden) -> Vorlage ersetzen -> Binär Stückliste entfernen (hierfür gibt es eine vorgefertigte Vorlage zum Suchen und Ersetzen).

Es war nicht die eleganteste Lösung und erforderte die Installation eines Programms, was ein Nachteil ist. Aber als ich herausfand, was um mich herum vorging, funktionierte es wie ein Zauber (und ich fand 3 Dateien von ungefähr 2300, die mit Stückliste waren).