Konvertieren Sie Zeilenenden für den gesamten Verzeichnisbaum (Git)

162

Folgende Situation:

Ich arbeite an einem Mac mit OS X und bin kürzlich einem Projekt beigetreten, dessen Mitglieder bisher alle Windows verwenden. Eine meiner ersten Aufgaben war das Einrichten der Codebasis in einem Git-Repository. Deshalb habe ich den Verzeichnisbaum von FTP abgerufen und versucht, ihn in das Git-Repo einzuchecken, das ich lokal vorbereitet hatte. Als ich das versuchte, bekam ich nur das

fatal: CRLF would be replaced by LF in blog/license.txt.

Da dies alle Dateien unterhalb des Ordners "Blog" betrifft, suche ich nach einer Möglichkeit, ALLE Dateien in der Baumstruktur bequem in Unix-Zeilenenden zu konvertieren. Gibt es ein Tool, das das sofort erledigt, oder bekomme ich selbst Skripte?

Als Referenz meine Git-Konfiguration bezüglich Zeilenenden:

core.safecrlf=true
core.autocrlf=input
Lunikon
quelle

Antworten:

268

dos2unix erledigt das für Sie. Ziemlich unkomplizierter Prozess.
dos2unix filename

Dank Toolbear ist hier ein Einzeiler, der rekursiv Zeilenenden ersetzt und Leerzeichen, Anführungszeichen und Shell-Metazeichen ordnungsgemäß verarbeitet.

find . -type f -exec dos2unix {} \;

Wenn Sie dos2unix 6.0 verwenden, werden Binärdateien ignoriert.

Andy
quelle
8
find blog -type f | xargs dos2unixsollte schneller sein. Sie benötigen das auch -name *.*nicht, es sei denn, Sie möchten ausdrücklich nur Dateien mit einem Punkt irgendwo im Namen. Das ist ein Windows Glob, kein * Nix.
Nutzlos
15
Das Piping findto xargsschlägt fehl, wenn findDateien mit Leerzeichen, Anführungszeichen oder anderen Shell-Metazeichen in ihrem Pfad übereinstimmen. Zumindest verwenden find blog -type f -print0 | xargs -0 dos2unix, um den Fall von Leerzeichen zu behandeln. Sie müssen find's -execanstelle von Piping verwenden, um Anführungszeichen usw. zu vermeiden. Die dos2unixManpage gibt nicht an, wie sie sich verhält, wenn Sie sie für Binärdateien aufrufen. Wenn CRLF in Binärdateien konvertiert wird, werden diese beschädigt. Siehe meine Antwort für eine sicherere, wenn auch längere Alternative.
Toolbear
1
@lukmdo, das ist nicht die auf Centos 6.4 installierte Version ..... die sie überfordert .... stattdessen musste ich von hier aus rpmfind.net/linux/rpm2html/search.php?query=dos2unix
Kerridge0
Nachtrag: Die dos2unix-CLI lässt sich am einfachsten über Homebrew (und nicht über npm) installieren.
2540625
2
Wie würde man Verzeichnisse mit diesem Ansatz nach Möglichkeit ignorieren?
datatype_void
50

Angenommen, Sie haben GNU grepund perldies konvertiert CRLF rekursiv in LF in nicht-binären Dateien unter dem aktuellen Verzeichnis:

find . -type f -exec grep -qIP '\r\n' {} ';' -exec perl -pi -e 's/\r\n/\n/g' {} '+'

Wie es funktioniert

Rekursiv im aktuellen Verzeichnis suchen; Ändern Sie .in blogoder whatevUnterverzeichnisse, um das Ersetzen einzuschränken:

find .

Nur mit regulären Dateien übereinstimmen:

  -type f

Testen Sie, ob die Datei CRLF enthält. Binärdateien ausschließen. Führt den grepBefehl für jede reguläre Datei aus. Das ist der Preis für den Ausschluss von Binärdateien. Wenn Sie einen alten haben, können grepSie versuchen, einen Test mit dem folgenden fileBefehl zu erstellen:

  -exec grep -qIP '\r\n' {} ';'

Ersetzen Sie CRLF durch LF. Das '+'with the second -execweist Sie findan, übereinstimmende Dateien zu akkumulieren und an einen (oder möglichst wenige) Aufrufe des Befehls zu übergeben - wie das Weiterleiten an xargs, jedoch ohne Probleme, wenn der Dateipfad Leerzeichen, Anführungszeichen oder andere Shell-Metazeichen enthält. Das iIn -piweist Perl an, die vorhandene Datei zu ändern. Sie könnten sedoder awkhier mit etwas Arbeit verwenden, und Sie werden wahrscheinlich '+' in ';' ändern. und rufen Sie für jedes Spiel einen eigenen Prozess auf:

  -exec perl -pi -e 's/\r\n/\n/g' {} '+'
Werkzeugbär
quelle
6
Falls es jemandem hilft: Stimmt grep -qIP '\r\n'nie etwas mit meinem CentOS-System überein. Ändern Sie es zu grep -qIP '\r$'funktioniert.
Steve Onorato
Ich hasse es, in Kommentaren zu fragen, aber gibt es eine Möglichkeit, einen Ordner wie auszuschließen node_modules?
datatype_void
1
@datatype_void Unter stackoverflow.com/questions/4210042/… erfahren Sie, wie Sie den findTeil des Befehls so ändern , dass Verzeichnisse ausgeschlossen werden. Sie schlagen vor, zu verwenden -path, aber Sie können auch -regexoder verwenden -iregex, dh -not -regex '.*/node_modules/.*'was a node_modulesin jeder Tiefe ausschließt.
Toolbear
Tut mir leid, wenn ich als regexoder bashNoob abkomme, aber was ist mit mehreren Ausschlüssen, sagen wir node_moduleund distzum Beispiel?
datatype_void
Für das -PFlag ist GNU grep erforderlich . OS X wechselte von GNU grep zu BSD grep. Einige Alternativen für OS X: stackoverflow.com/questions/16658333/…
toolbear
28

Hier ist eine bessere Option: Swiss File Knife . Es funktioniert rekursiv über Unterverzeichnisse hinweg und behandelt Leerzeichen und Sonderzeichen ordnungsgemäß.

Alles was du tun musst, ist:

sfk remcr -dir your_project_directory

Bonus: sfk macht auch viele andere Conversions. Die vollständige Liste finden Sie unten:

SFK - The Swiss File Knife File Tree Processor.
Release 1.6.7 Base Revision 2 of May  3 2013.
StahlWorks Technologies, http://stahlworks.com/
Distributed for free under the BSD License, without any warranty.

type "sfk commandname" for help on any of the following.
some commands require to add "-help" for the help text.

   file system
      sfk list       - list directory tree contents.
                       list latest, oldest or biggest files.
                       list directory differences.
                       list zip jar tar gz bz2 contents.
      sfk filefind   - find files by filename
      sfk treesize   - show directory size statistics
      sfk copy       - copy directory trees additively
      sfk sync       - mirror tree content with deletion
      sfk partcopy   - copy part from a file into another one
      sfk mkdir      - create directory tree
      sfk delete     - delete files and folders
      sfk deltree    - delete whole directory tree
      sfk deblank    - remove blanks in filenames
      sfk space [-h] - tell total and free size of volume
      sfk filetime   - tell times of a file
      sfk touch      - change times of a file

   conversion
      sfk lf-to-crlf - convert from LF to CRLF line endings
      sfk crlf-to-lf - convert from CRLF to LF line endings
      sfk detab      - convert TAB characters to spaces
      sfk entab      - convert groups of spaces to TAB chars
      sfk scantab    - list files containing TAB characters
      sfk split      - split large files into smaller ones
      sfk join       - join small files into a large one
      sfk hexdump    - create hexdump from a binary file
      sfk hextobin   - convert hex data to binary
      sfk hex        - convert decimal number(s) to hex
      sfk dec        - convert hex number(s) to decimal
      sfk chars      - print chars for a list of codes
      sfk bin-to-src - convert binary to source code

   text processing
      sfk filter     - search, filter and replace text data
      sfk addhead    - insert string at start of text lines
      sfk addtail    - append string at end of text lines
      sfk patch      - change text files through a script
      sfk snapto     - join many text files into one file
      sfk joinlines  - join text lines split by email reformatting
      sfk inst       - instrument c++ sourcecode with tracing calls
      sfk replace    - replace words in binary and text files
      sfk hexfind    - find words in binary files, showing hexdump
      sfk run        - run command on all files of a folder
      sfk runloop    - run a command n times in a loop
      sfk printloop  - print some text many times
      sfk strings    - extract strings from a binary file
      sfk sort       - sort text lines produced by another command
      sfk count      - count text lines, filter identical lines
      sfk head       - print first lines of a file
      sfk tail       - print last lines of a file
      sfk linelen    - tell length of string(s)

   search and compare
      sfk find       - find words in binary files, showing text
      sfk md5gento   - create list of md5 checksums over files
      sfk md5check   - verify list of md5 checksums over files
      sfk md5        - calc md5 over a file, compare two files
      sfk pathfind   - search PATH for location of a command
      sfk reflist    - list fuzzy references between files
      sfk deplist    - list fuzzy dependencies between files
      sfk dupfind    - find duplicate files by content

   networking
      sfk httpserv   - run an instant HTTP server.
                       type "sfk httpserv -help" for help.
      sfk ftpserv    - run an instant FTP server
                       type "sfk ftpserv -help" for help.
      sfk ftp        - instant anonymous FTP client
      sfk wget       - download HTTP file from the web
      sfk webrequest - send HTTP request to a server
      sfk tcpdump    - print TCP conversation between programs
      sfk udpdump    - print incoming UDP requests
      sfk udpsend    - send UDP requests
      sfk ip         - tell own machine's IP address(es).
                       type "sfk ip -help" for help.
      sfk netlog     - send text outputs to network,
                       and/or file, and/or terminal

   scripting
      sfk script     - run many sfk commands in a script file
      sfk echo       - print (coloured) text to terminal
      sfk color      - change text color of terminal
      sfk alias      - create command from other commands
      sfk mkcd       - create command to reenter directory
      sfk sleep      - delay execution for milliseconds
      sfk pause      - wait for user input
      sfk label      - define starting point for a script
      sfk tee        - split command output in two streams
      sfk tofile     - save command output to a file
      sfk toterm     - flush command output to terminal
      sfk loop       - repeat execution of a command chain
      sfk cd         - change directory within a script
      sfk getcwd     - print the current working directory
      sfk require    - compare version text

   development
      sfk bin-to-src - convert binary data to source code
      sfk make-random-file - create file with random data
      sfk fuzz       - change file at random, for testing
      sfk sample     - print example code for programming
      sfk inst       - instrument c++ with tracing calls

   diverse
      sfk media      - cut video and binary files
      sfk view       - show results in a GUI tool
      sfk toclip     - copy command output to clipboard
      sfk fromclip   - read text from clipboard
      sfk list       - show directory tree contents
      sfk env        - search environment variables
      sfk version    - show version of a binary file
      sfk ascii      - list ISO 8859-1 ASCII characters
      sfk ascii -dos - list OEM codepage 850 characters
      sfk license    - print the SFK license text

   help by subject
      sfk help select   - how dirs and files are selected in sfk
      sfk help options  - general options reference
      sfk help patterns - wildcards and text patterns within sfk
      sfk help chain    - how to combine (chain) multiple commands
      sfk help shell    - how to optimize the windows command prompt
      sfk help unicode  - about unicode file reading support
      sfk help colors   - how to change result colors
      sfk help xe       - for infos on sfk extended edition.

   All tree walking commands support file selection this way:

   1. short format with ONE directory tree and MANY file name patterns:
      src1dir .cpp .hpp .xml bigbar !footmp
   2. short format with a list of explicite file names:
      letter1.txt revenues9.xls report3\turnover5.ppt
   3. long format with MANY dir trees and file masks PER dir tree:
      -dir src1 src2 !src\save -file foosys .cpp -dir bin5 -file .exe

   For detailed help on file selection, type "sfk help select".

   * and ? wildcards are supported within filenames. "foo" is interpreted
   as "*foo*", so you can leave out * completely to search a part of a name.
   For name start comparison, say "\foo" (finds foo.txt but not anyfoo.txt).

   When you supply a directory name, by default this means "take all files".

      sfk list mydir                lists ALL  files of mydir, no * needed.
      sfk list mydir .cpp .hpp      lists SOME files of mydir, by extension.
      sfk list mydir !.cfg          lists all  files of mydir  EXCEPT .cfg

   general options:
      -tracesel tells in detail which files and/or directories are included
                or excluded, and why (due to which user-supplied mask).
      -nosub    do not process files within subdirectories.
      -nocol    before any command switches off color output.
      -quiet    or -nohead shows less output on some commands.
      -hidden   includes hidden and system files and dirs.
      For detailed help on all options, type "sfk help options".

   beware of Shell Command Characters.
      command parameters containing characters < > | ! & must be sur-
      rounded by quotes "". type "sfk filter" for details and examples.

   type "sfk ask word1 word2 ..."   to search ALL help text for words.
   type "sfk dumphelp"              to print  ALL help text.

BEARBEITEN: Ein Wort der Vorsicht: Seien Sie vorsichtig, wenn Sie dies für Ordner mit Binärdateien ausführen, da dies Ihre Dateien, insbesondere .git-Verzeichnisse, effektiv zerstört . Wenn dies der Fall ist, kann nicht sfk im gesamten Ordner laufen, aber bestimmte Dateierweiterungen wählen statt (* .rb, * Py, etc). Beispiel:sfk remcr -dir chef -file .rb -file .json -file .erb -file .md

Gui Ambros
quelle
Funktioniert hervorragend unter OSX Mavericks. Sie müssen nichts installieren, führen Sie einfach das Skript über das bereitgestellte DMG aus und Ihr Terminal scheint betriebsbereit zu sein.
Nate Cook
@Gui Ambros Sie müssen sich keine Gedanken über die Dateien im .git-Ordner machen. sfk aktualisiert standardmäßig keine Dateien in versteckten Ordnern.
Bittusarkar
1
@bittusarkar: Zum Zeitpunkt meiner Antwort habe sfkich meinen gesamten .git-Ordner effektiv verarbeitet und eine Reihe von Binärdateien zerstört (daher meine Bearbeitung ; ich erinnere mich nicht, ob es Linux oder Mac war). Möglicherweise haben sie das Standardverhalten in neueren Versionen geändert, aber ich würde trotzdem empfehlen, die Erweiterung anzugeben, um sicher zu gehen.
Gui Ambros
1
Dies funktionierte gut für mich, nachdem ich zu viel Zeit damit verbracht hatte, meine Repos mit empfohlenen Git-Befehlen zu normalisieren, die einfach nicht alle relevanten Dateien reparierten.
Angularsen
1
Vielen Dank! Ich habe dies nur verwendet, um eine ganze Reihe von Dateien schnell und schmerzlos zu konvertieren, und jetzt kann ich sie dem Staging-Bereich in Git hinzufügen. Unter OSX 10.9.5 und nicht sicher, wo die Dateien erstellt wurden.
Ryanwc
16
find . -not \( -name .svn -prune -o -name .git -prune \) -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Dies ist viel sicherer, da es verhindert, dass Ihr Git-Repo beschädigt wird. Fügen Sie .git, .svn durch .bzr, .hg oder eine andere Quellcodeverwaltung hinzu oder ersetzen Sie sie zur Nicht- Liste.

Codehugger
quelle
3
Dies ist die beste Antwort, wenn Sie nichts wie dos2unix installieren mussten. Ermöglicht den Ausschluss von Dateitypen und vermeidet die Beschädigung von Quellcodedateien.
Raghavan
10

Unter OS X funktionierte dies für mich:

find ./ -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Warnung: Bitte sichern Sie Ihr Verzeichnis, bevor Sie diesen Befehl ausführen.

Raunak
quelle
5
Ich möchte nur beachten, dass dies mein Git-Repository beschädigt hat. Ich habe es erneut versucht, indem ich den .git-Ordner vor dem Ausführen herausgezogen und anschließend mit besserem Erfolg wieder hineingezogen habe.
Garie
1
Ich werde auch bemerken, dass dies keine Binärdateien ausschließt, so dass zB Ihre JPGs beschädigt werden.
Niek
0

Hier eine Lösung bei Verwendung von sed:

find . -type f -exec sed -i 's/\r$//' {} \;

-i steht für In-Place, wenn Sie auch ein Backup erstellen möchten -i.bak

's/\r$//'ersetzt alle Wagenrückläufe ( \r) am Ende jeder Zeile

Mustapha-Belkacim
quelle