Wie kann man testen, ob eine Datei CRLF oder LF verwendet, ohne sie zu ändern?

Ich muss regelmäßig einen Befehl ausführen, der sicherstellt, dass einige Textdateien im Linux-Modus gespeichert werden. Leider dos2unixändert sich die Datei immer, was die Zeitstempel von Dateien und Ordnern durcheinander bringt und unnötige Schreibvorgänge verursacht.

Das Skript, das ich schreibe, ist in Bash, daher bevorzuge ich Antworten, die auf Bash basieren.

Sie können es dos2unixals Filter verwenden und seine Ausgabe mit der Originaldatei vergleichen:

dos2unix < myfile.txt | cmp -s - myfile.txt

Wenn das Ziel nur darin besteht, den Zeitstempel nicht zu beeinflussen, dos2unixhaben Sie eine -koder --keepdate-Option, mit der der Zeitstempel gleich bleibt. Es muss immer noch geschrieben werden, um die temporäre Datei zu erstellen und umzubenennen, aber Ihre Zeitstempel bleiben davon unberührt.

Wenn eine Änderung der Datei nicht akzeptabel ist, können Sie die folgende Lösung aus dieser Antwort verwenden .

find . -not -type d -exec file "{}" ";" | grep CRLF

Sie könnten versuchen, grepfür CRLF-Code, oktal:

grep -U $'\015' myfile.txt

oder hex:

grep -U $'\x0D' myfile.txt

Seit Version 7.1dos2unix eine hat -i, --infoauf Option , um Informationen über Zeilenumbrüche zu erhalten. Sie können dos2unix selbst verwenden, um zu testen, welche Dateien konvertiert werden müssen.

Beispiel:

dos2unix -ic *.txt | xargs dos2unix

Erste Methode ( grep):

Zählen Sie die Zeilen, die einen Wagenrücklauf enthalten:

[[ $(grep -c $'\r' myfile.txt) -gt 0 ]] && echo dos

Zählen Sie die Zeilen, die mit einem Wagenrücklauf enden :

[[ $(grep -c $'\r$' myfile.txt) -gt 0 ]] && echo dos

Diese sind normalerweise gleichwertig. Ein Wagenrücklauf im Inneren einer Zeile (dh nicht am Ende) ist selten.

Effizienter:

grep -q $'\r' myfile.txt && echo dos

Das ist effizienter

1. weil es nicht erforderlich ist, die Anzahl in eine ASCII-Zeichenfolge umzuwandeln und diese Zeichenfolge dann wieder in eine Ganzzahl umzuwandeln und mit Null zu vergleichen, und
2. Da grep -cmuss die gesamte Datei gelesen werden, um alle Vorkommen des Musters zu zählen, während grep -qbeim ersten Auftreten des Musters beendet werden kann.

Anmerkungen:

• In all diesen Fällen müssen Sie möglicherweise die -UOption hinzufügen (dh -cUoder verwenden -qU), da GNU greperrät, ob es sich bei der Datei um eine Textdatei handelt. Wenn es sich bei der Datei um Text handelt, werden Zeilenumbrüche an den Zeilenenden ignoriert, um sicherzustellen, dass $reguläre Ausdrücke "korrekt" funktionieren - auch wenn es sich um reguläre Ausdrücke handelt \r$! Das Angeben -U(oder --binary) überschreibt diese Vermutung, wodurch grepdie Datei (en) als binär behandelt und die Daten wörtlich mit intakten CR-Endungen an den Abgleichsmechanismus übergeben werden.
• Tun Sie dies nicht grep … $'\r\n' myfile.txt, da dies als Musterbegrenzer grepbehandelt wird \n. Sucht genauso wie grep -E 'foo|'nach Zeilen, die fooeine Nullzeichenfolge enthalten, grep $'\r\n'nach Zeilen, die \reine Nullzeichenfolge enthalten, und jede Zeile entspricht einer Nullzeichenfolge.

Zweite Methode ( file):

[[ $(file myfile.txt) =~ CRLF ]] && echo dos

weil fileberichtet so etwas wie:

myfile.txt: UTF-8 Unicode text, with CRLF line terminators

Sicherere Variante:

[[ $(file -b - < myfile.txt) =~ CRLF ]] && echo dos

wo

• file -bgibt nur den Dateityp und nicht den Dateinamen aus. Ohne diese würde eine Datei, deren Name die Zeichen enthältCRLF , ein falsches Positiv auslösen.
• file - < filenamefunktioniert auch wenn filenameanfängt mit -.  ^{Siehe Bash-Skript: Überprüfen Sie, ob es sich bei einer Datei um eine Textdatei handelt .}

Beachten Sie, dass die Überprüfung der Ausgabe file in einem nicht englischen Gebietsschema möglicherweise nicht funktioniert.

Verwenden cat -A

$ cat file
hello
hello

Wenn diese Datei in * NIX-Systemen erstellt wurde, wird sie angezeigt

$ cat -A file
hello$
hello$

Wenn diese Datei jedoch in Windows erstellt wurde, wird sie angezeigt

$ cat -A file
hello^M$
hello

^Mrepräsentiert CRund $repräsentiert LF. Beachten Sie, dass Windows die letzte Zeile nicht mit gespeichert hatCRLF

Dies ändert auch nicht den Inhalt der Datei.

Eine Bash-Funktion für Sie:

# return 0 (true) if first line ends in CR
isDosFile() {
    [[ $(head -1 "$1") == *$'\r' ]]  
}

Dann kannst du sowas machen

streamFile () {
    if isDosFile /tmp/foo.txt; then
        sed 's/\r$//' "$1"
    else
        cat "$1"
    fi
}

streamFile /tmp/foo.txt | process_lines_without_CR

Wenn eine Datei CR-LF-Zeilenenden im DOS- / Windows-Stil enthält, werden bei der Anzeige mit einem Unix-basierten Tool am Ende jeder Zeile CR-Zeichen ('\ r') angezeigt.

Dieser Befehl:

grep -l '^M$' filename

wird gedruckt, filenamewenn die Datei eine oder mehrere Zeilen mit Windows-ähnlichen Zeilenenden enthält, und es wird nichts gedruckt, wenn dies nicht der Fall ist. Das ^Mmuss jedoch ein Zeilenumbruchzeichen sein, das normalerweise in das Terminal eingegeben wird, indem Sie Ctrl+ Vgefolgt von Enter (oder Ctrl+ Vund dann Ctrl+ M) eingeben . Mit der Bash-Shell können Sie einen wörtlichen Wagenrücklauf als $'\r'( hier dokumentiert ) schreiben, sodass Sie Folgendes schreiben können:

grep -l $'\r$' filename

Andere Schalen bieten möglicherweise ein ähnliches Merkmal.

Sie können stattdessen ein anderes Tool verwenden:

awk '/\r$/ { exit(1) }' filename

Dies wird mit dem Status 1(Einstellung $?auf 1) beendet, wenn die Datei Zeilenenden im Windows-Stil enthält, und mit dem Status, 0wenn dies nicht der Fall ist, was sie in einer Shell- ifAnweisung nützlich macht (beachten Sie das Fehlen von [Klammern ]):

if awk '/\r$/ { exit(1) }' filename ; then
    echo filename has Unix-style line endings
else
    echo filename has at least one Windows-style line ending
fi

Eine Datei kann eine Mischung aus Zeilenenden im Unix- und Windows-Stil enthalten. Ich gehe davon aus, dass hier Sie Dateien erkennen mögen, haben alle im Windows-Stil Zeilenende.

Verwendung file:

$ file README.md
README.md: ASCII text, with CRLF line terminators

$ dos2unix README.md
dos2unix: converting file README.md to Unix format...

$ file README.md
README.md: ASCII text

Ich habe verwendet

cat -v filename.txt | diff - filename.txt

was zu funktionieren scheint. Ich finde die Ausgabe etwas leichter zu lesen als

dos2unix < filename.txt | diff - filename.txt

Es ist auch nützlich, wenn Sie dos2unixaus irgendeinem Grund nicht installieren können .