Fügen Sie am Anfang und am Ende der riesigen Datei Zeilen hinzu

Ich habe das Szenario, in dem Zeilen am Anfang und Ende der riesigen Dateien hinzugefügt werden.

Ich habe versucht, wie unten gezeigt.

• für die erste Zeile:

  sed -i '1i\'"$FirstLine" $Filename

• für die letzte Zeile:

  sed -i '$ a\'"$Lastline" $Filename  

Das Problem bei diesem Befehl ist jedoch, dass die erste Zeile der Datei angehängt und die gesamte Datei durchlaufen wird. In der letzten Zeile wird erneut die gesamte Datei durchlaufen und eine letzte Zeile angehängt. Da es sich um eine sehr große Datei (14 GB) handelt, dauert dies sehr lange.

Wie kann ich am Anfang und am Ende einer Datei eine Zeile einfügen, während ich die Datei nur einmal lese?

sed -iVerwendet tempfiles als Implementierungsdetail. Dies ist das, was Sie gerade erleben. Wenn Sie jedoch Daten vor den Anfang eines Datenstroms stellen, ohne den vorhandenen Inhalt zu überschreiben, müssen Sie die Datei neu schreiben. Selbst wenn Sie dies vermeiden, können Sie dies nicht umgehen sed -i.

Wenn das Umschreiben der Datei keine Option ist, können Sie sie beim Lesen möglicherweise bearbeiten. Beispiel:

{ echo some prepended text ; cat file ; } | command

Sed dient auch zum Bearbeiten von Streams - eine Datei ist kein Stream. Verwenden Sie ein Programm wie ed oder ex, das für diesen Zweck vorgesehen ist. Die -iOption sed ist nicht nur nicht portierbar, sondern unterbricht auch alle Symlinks zu Ihrer Datei, da sie im Wesentlichen gelöscht und neu erstellt wird, was sinnlos ist.

Sie können dies mit einem einzigen Befehl edwie folgt tun:

ed -s file << 'EOF'
0a
prepend these lines
to the beginning
.
$a
append these lines
to the end
.
w
EOF

Beachten Sie, dass je nach Implementierung von ed möglicherweise eine Auslagerungsdatei verwendet wird, für die mindestens so viel Speicherplatz verfügbar sein muss.

Beachten Sie, dass Sie Folgendes tun können, wenn Sie die Zuordnung einer vollständigen Kopie der Datei auf der Festplatte vermeiden möchten:

sed '
1i\
begin
$a\
end' < file 1<> file

Dies nutzt die Tatsache, dass, wenn es sich bei stdin / stdout um eine Datei handelt, sed blockweise gelesen und geschrieben wird. Hier ist es also in Ordnung, die gelesene Datei zu überschreiben, solange die erste hinzugefügte Zeile kleiner als seddie Blockgröße ist (sollte etwa 4k oder 8k sein).

Beachten Sie jedoch, dass wenn aus irgendeinem Grund ein sedFehler auftritt (Abbruch, Maschinenabsturz ...), die Datei zur Hälfte verarbeitet wird, was bedeutet, dass einige Daten der Größe der ersten Zeile irgendwo in der Mitte fehlen.

Beachten Sie auch , dass , wenn Ihr sedist die GNU sed, die nicht Arbeit für binäre Daten (aber da Sie verwenden -i, den Sie verwenden GNU sed).

Hier sind einige Optionen (alle erstellen eine neue Kopie der Datei, stellen Sie also sicher, dass Sie genügend Speicherplatz dafür haben):

• einfaches Echo / Katze

  echo "first" > new_file; cat $File >> new_file; \
    echo "last" >> new_file; 

• awk / gawk usw

  gawk 'BEGIN{print "first\n"}{print}END{print "last\n"}' $File > NewFile 

  awkund sein Typ liest Dateien Zeile für Zeile. Der BEGIN{}Satz wird vor der ersten Zeile und der END{}Satz nach der letzten Zeile ausgeführt. Also, der obige Befehl bedeutet print "first" at the beginning, then print every line in the file and print "last" at the end.

• Perl

  perl -ne 'BEGIN{print "first\n"} print;END{print "last\n"}' $File > NewFile

  Dies ist im Wesentlichen dasselbe wie der oben in Perl geschriebene Gawk.

Ich bevorzuge das viel einfachere:

gsed -i '1s/^/foo\n/gm; $s/$/\nbar/gm' filename.txt

Dies transformiert die Datei:

asdf
qwer

zur Datei:

foo
asdf
qwer
bar

Sie können Vim im Ex-Modus verwenden:

ex -sc '1i|ALFA' -c '$a|BRAVO' -cx file

1. 1 erste Zeile auswählen

2. i Text und Zeilenumbruch einfügen

3. $ Letzte Zeile auswählen

4. a Text und Zeilenumbruch anhängen

5. x speichern und schließen

Es gibt keine Möglichkeit, Daten am Anfang einer Datei einzufügen¹. Sie können lediglich eine neue Datei erstellen, die zusätzlichen Daten schreiben und die alten Daten anhängen. Sie müssen also mindestens einmal die gesamte Datei neu schreiben, um die erste Zeile einzufügen. Sie können die letzte Zeile jedoch anhängen, ohne die Datei neu zu schreiben.

sed -i '1i\'"$FirstLine" $Filename
echo "$LastLine" >>$Filename

Alternativ können Sie die beiden Befehle in einem Durchlauf von sed kombinieren.

sed -i -e '1i\'"$FirstLine" -e '$ a\'"$Lastline" $Filename

sed -iErstellt eine neue Ausgabedatei und verschiebt sie dann über die alte Datei. Dies bedeutet, dass während der Arbeit von sed eine zweite Kopie der Datei vorhanden ist, die Speicherplatz belegt. Sie können dies vermeiden, indem Sie die vorhandene Datei überschreiben , jedoch mit erheblichen Einschränkungen: Die hinzugefügte Zeile muss kleiner sein als der Puffer von sed. Wenn Ihr System abstürzt, gehen eine beschädigte Datei und einige Inhalte in der Datei verloren Mitte, also empfehle ich dringend dagegen.

¹ _{Linux kann zwar Daten in eine Datei einfügen, es können jedoch nur eine ganze Reihe von Dateisystemblöcken und keine Zeichenfolgen beliebiger Länge eingefügt werden. Es ist nützlich für einige Anwendungen, wie z. B. Datenbanken und virtuelle Maschinen, aber für Textdateien unbrauchbar.}

$ (echo "Some Text" ; cat file1) > file2

Moderne Linux-Kernel (höher als 4.1 oder 4.2) unterstützen das Einfügen von Daten am Anfang einer Datei über den fallocate()Systemaufruf mit den FALLOC_FL_INSERT_RANGEDateisystemen ext4 und xfs. Im Wesentlichen ist dies eine logische Verschiebeoperation: Die Daten werden logisch mit einem höheren Versatz verschoben.

Es gibt eine Einschränkung hinsichtlich der Granularität des Bereichs, den Sie am Anfang der Datei einfügen möchten. Aber für Textdateien können Sie wahrscheinlich etwas mehr als erforderlich zuweisen (bis zur Granularitätsgrenze) und mit Leerzeichen oder Zeilenumbrüchen füllen, aber das hängt von Ihrer Anwendung ab

Ich kenne kein sofort verfügbares Linux-Dienstprogramm, das Dateierweiterungen manipuliert, aber es ist nicht schwierig zu schreiben: Besorgen Sie sich einen Dateideskriptor und rufen Sie fallocate()mit den entsprechenden Argumenten auf. Weitere Informationen finden Sie in der Manpage des fallocateSystemaufrufs: http://man7.org/linux/man-pages/man2/fallocate.2.html