Wie kann ich eine Datei in einem Befehl verwenden und die Ausgabe in dieselbe Datei umleiten, ohne sie abzuschneiden?

Grundsätzlich möchte ich als Eingabetext aus einer Datei nehmen, eine Zeile aus dieser Datei entfernen und die Ausgabe an dieselbe Datei zurücksenden. Etwas in diese Richtung, wenn das klarer wird.

grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name > file_name

Wenn ich dies tue, erhalte ich jedoch eine leere Datei. Irgendwelche Gedanken?

Sie können dies nicht tun, da bash zuerst die Umleitungen verarbeitet und dann den Befehl ausführt. Wenn grep also auf Dateiname schaut, ist es bereits leer. Sie können jedoch eine temporäre Datei verwenden.

#!/bin/sh
tmpfile=$(mktemp)
grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name > ${tmpfile}
cat ${tmpfile} > file_name
rm -f ${tmpfile}

Ziehen Sie in Betracht mktemp, das tmpfile zu verwenden , beachten Sie jedoch, dass es sich nicht um POSIX handelt.

Verwenden Sie für diese Art von Aufgaben einen Schwamm . Sein Teil von moreutils.

Versuchen Sie diesen Befehl:

 grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name | sponge file_name

Verwenden Sie stattdessen sed:

sed -i '/seg[0-9]\{1,\}\.[0-9]\{1\}/d' file_name

versuchen Sie dieses einfache

grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name | tee file_name

Ihre Datei wird diesmal nicht leer sein :) und Ihre Ausgabe wird auch auf Ihrem Terminal gedruckt.

Sie können den Umleitungsoperator ( >oder >>) nicht für dieselbe Datei verwenden, da dieser eine höhere Priorität hat und die Datei erstellt / abgeschnitten wird, bevor der Befehl überhaupt aufgerufen wird. Um zu vermeiden , dass, sollten Sie geeignete Tools wie tee, sponge, sed -ioder ein anderes Werkzeug , welche Ergebnisse in die Datei schreiben kann (zBsort file -o file ).

Grundsätzlich ist es nicht sinnvoll, Eingaben in dieselbe Originaldatei umzuleiten, und Sie sollten dafür geeignete In-Place-Editoren verwenden, z. B. den Ex-Editor (Teil von Vim):

ex '+g/seg[0-9]\{1,\}\.[0-9]\{1\}/d' -scwq file_name

wo:

• '+cmd'/ -c- Führen Sie einen beliebigen Ex / Vim-Befehl aus
• g/pattern/d- Entfernen Sie Linien, die einem Muster entsprechen, mit global ( help :g)
• -s- stiller Modus ( man ex)
• -c wq- ausführen :writeund :quitBefehle

Sie können verwendet werden, seddas gleiche zu erreichen (wie bereits in anderen Antworten gezeigt), aber an Ort und Stelle ( -i) ist Nicht-Standard - FreeBSD - Erweiterung (unterschiedlich zwischen Unix / Linux arbeiten) und im Grunde ist es eine s tream ed itor, keine Datei - Editor . Siehe: Hat der Ex-Modus einen praktischen Nutzen?

Eine Liner-Alternative - Legen Sie den Inhalt der Datei als Variable fest:

VAR=`cat file_name`; echo "$VAR"|grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' > file_name

Da diese Frage das Top-Ergebnis in Suchmaschinen ist, ist hier ein Einzeiler basierend auf https://serverfault.com/a/547331 , der anstelle einer Subshell verwendet sponge(was häufig nicht Teil einer Vanilla-Installation wie OS X ist). ::

echo "$(grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name)" > file_name

Der allgemeine Fall ist:

echo "$(cat file_name)" > file_name

Bearbeiten, die obige Lösung hat einige Einschränkungen:

• printf '%s' <string>sollte stattdessen verwendet werden, echo <string>damit Dateien enthalten-n , kein unerwünschtes Verhalten verursachen.
• Befehlsersetzungsstreifen werden nach Zeilenumbrüchen entfernt ( dies ist ein Fehler / eine Funktion von Shells wie bash ), daher sollten wir ein Postfix-Zeichen wie xan die Ausgabe anhängen und es außen durch Parametererweiterung einer temporären Variablen wie entfernen ${v%x}.
• Durch die Verwendung einer temporären Variablen wird $vder Wert einer vorhandenen Variablen $vin der aktuellen Shell-Umgebung gestampft. Daher sollten wir den gesamten Ausdruck in Klammern verschachteln, um den vorherigen Wert beizubehalten.
• Ein weiterer Fehler / Merkmal von Shells wie bash ist, dass durch das Ersetzen von Befehlen nicht druckbare Zeichen wie nullaus der Ausgabe entfernt werden. Ich habe dies überprüft, indem ich es aufgerufen dd if=/dev/zero bs=1 count=1 >> file_nameund hexadezimal mit angezeigt habe cat file_name | xxd -p. Ist echo $(cat file_name) | xxd -paber ausgezogen. Daher sollte diese Antwort nicht für Binärdateien oder andere Dateien mit nicht druckbaren Zeichen verwendet werden, wie Lynch betonte .

Die allgemeine Lösung (albiet etwas langsamer, speicherintensiver und immer noch nicht druckbare Zeichen entfernt) lautet:

(v=$(cat file_name; printf x); printf '%s' ${v%x} > file_name)

Test von https://askubuntu.com/a/752451 :

printf "hello\nworld\n" > file_uniquely_named.txt && for ((i=0; i<1000; i++)); do (v=$(cat file_uniquely_named.txt; printf x); printf '%s' ${v%x} > file_uniquely_named.txt); done; cat file_uniquely_named.txt; rm file_uniquely_named.txt

Sollte drucken:

hello
world

Während Sie cat file_uniquely_named.txt > file_uniquely_named.txtdie aktuelle Shell aufrufen :

printf "hello\nworld\n" > file_uniquely_named.txt && for ((i=0; i<1000; i++)); do cat file_uniquely_named.txt > file_uniquely_named.txt; done; cat file_uniquely_named.txt; rm file_uniquely_named.txt

Druckt eine leere Zeichenfolge.

Ich habe dies nicht an großen Dateien getestet (wahrscheinlich über 2 oder 4 GB).

Ich habe diese Antwort von Hart Simha und kos ausgeliehen .

Es gibt auch ed(als Alternative zu sed -i):

# cf. http://wiki.bash-hackers.org/howto/edit-ed
printf '%s\n' H 'g/seg[0-9]\{1,\}\.[0-9]\{1\}/d' wq |  ed -s file_name

Sie können dies durch Prozessersetzung tun .

Es ist allerdings ein bisschen sleephackig, da Bash alle Pipes asynchron öffnet und wir das mit so YMMV umgehen müssen.

In Ihrem Beispiel:

grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name > >(sleep 1 && cat > file_name)

• >(sleep 1 && cat > file_name) Erstellt eine temporäre Datei, die die Ausgabe von grep empfängt
• sleep 1 Verzögerungen für eine Sekunde, um grep Zeit zum Parsen der Eingabedatei zu geben
• cat > file_nameschreibt schließlich die Ausgabe

Sie können Slurp mit POSIX Awk verwenden:

!/seg[0-9]\{1,\}\.[0-9]\{1\}/ {
  q = q ? q RS $0 : $0
}
END {
  print q > ARGV[1]
}

Beispiel

Versuche dies

echo -e "AAA\nBBB\nCCC" > testfile

cat testfile
AAA
BBB
CCC

echo "$(grep -v 'AAA' testfile)" > testfile
cat testfile
BBB
CCC

Mit den folgenden Funktionen wird das Gleiche spongeerreicht, ohne dass dies erforderlich ist moreutils:

    shuf --output=file --random-source=/dev/zero 

Der --random-source=/dev/zeroTeil Tricksshuf versucht, seine Sache zu erledigen, ohne überhaupt zu mischen, sodass er Ihre Eingabe puffert, ohne sie zu ändern.

Es ist jedoch richtig, dass die Verwendung einer temporären Datei aus Leistungsgründen am besten ist. Hier ist eine Funktion, die ich geschrieben habe und die dies allgemein für Sie erledigt:

# Pipes a file into a command, and pipes the output of that command
# back into the same file, ensuring that the file is not truncated.
# Parameters:
#    $1: the file.
#    $2: the command. (With $3... being its arguments.)
# See https://stackoverflow.com/a/55655338/773113

function siphon
{
    local tmp=$(mktemp)
    local file="$1"
    shift
    $* < "$file" > "$tmp"
    mv "$tmp" "$file"
}

Dies ist sehr gut möglich. Sie müssen lediglich sicherstellen, dass Sie die Ausgabe zum Zeitpunkt des Schreibens in eine andere Datei schreiben. Dies kann erreicht werden, indem die Datei nach dem Öffnen eines Dateideskriptors entfernt wird, aber bevor Sie darauf schreiben:

exec 3<file ; rm file; COMMAND <&3 >file ;  exec 3>&-

Oder Zeile für Zeile, um es besser zu verstehen:

exec 3<file       # open a file descriptor reading 'file'
rm file           # remove file (but fd3 will still point to the removed file)
COMMAND <&3 >file # run command, with the removed file as input
exec 3>&-         # close the file descriptor

Es ist immer noch eine riskante Sache, denn wenn COMMAND nicht richtig ausgeführt wird, verlieren Sie den Dateiinhalt. Dies kann durch Wiederherstellen der Datei verringert werden, wenn COMMAND einen Exit-Code ungleich Null zurückgibt:

exec 3<file ; rm file; COMMAND <&3 >file || cat <&3 >file ; exec 3>&-

Wir können auch eine Shell-Funktion definieren, um die Verwendung zu vereinfachen:

# Usage: replace FILE COMMAND
replace() { exec 3<$1 ; rm $1; ${@:2} <&3 >$1 || cat <&3 >$1 ; exec 3>&- }

Beispiel:

$ echo aaa > test
$ replace test tr a b
$ cat test
bbb

Beachten Sie außerdem, dass dadurch eine vollständige Kopie der Originaldatei erhalten bleibt (bis der dritte Dateideskriptor geschlossen wird). Wenn Sie Linux verwenden und die Datei, die Sie verarbeiten, zu groß ist, um zweimal auf die Festplatte zu passen, können Sie dieses Skript auschecken, mit dem die Datei blockweise an den angegebenen Befehl weitergeleitet wird, während die Zuordnung der bereits verarbeiteten Datei aufgehoben wird Blöcke. Lesen Sie wie immer die Warnungen auf der Verwendungsseite.

Normalerweise benutze ich dazu das Tee- Programm:

grep -v 'seg[0-9]\{1,\}\.[0-9]\{1\}' file_name | tee file_name

Es erstellt und entfernt selbst ein Tempfile.