So behalten Sie nur jede n-te Zeile einer Datei bei

Ich habe eine ziemlich große CSV-Datei (75 MB). Ich versuche nur, ein Diagramm davon zu erstellen, daher brauche ich wirklich nicht alle Daten.

Umformulierung: Ich möchte n Zeilen löschen, dann eine Zeile behalten, dann n Zeilen löschen und so weiter.

Also, wenn die Datei so aussah:

Line 1
Line 2
Line 3
Line 4
Line 5
Line 6

und n = 2, dann wäre die Ausgabe:

Line 3
Line 6

Es scheint, als sedkönnte dies möglich sein, aber ich konnte nicht herausfinden, wie. Ein Bash-Befehl wäre ideal, aber ich bin offen für jede Lösung.

~ $ awk 'NR == 1 || NR % 3 == 0' yourfile
Line 1
Line 3
Line 6

NRDie Variable (Anzahl der Datensätze) gibt die Anzahl der Datensätze an, da das Standardverhalten die neue Zeile für RS(Datensatztrenner) ist. Muster und Aktion sind im Standardformat von awk optional 'pattern {actions}'. Wenn wir nur einen Musterteil awkangeben, werden alle Felder $0für die trueBedingungen unseres Musters geschrieben .

sed kann das auch machen:

$ sed -n '1p;0~3p' input.txt
Line 1
Line 3
Line 6

man sederklärt ~als:

first ~ step Stimmt mit jeder Zeile überein, die mit der ersten Zeile beginnt. Beispiel: "sed -n 1 ~ 2p" gibt alle ungeraden Zeilen im Eingabestream aus, und die Adresse 2 ~ 5 stimmt mit jeder fünften Zeile überein, beginnend mit der zweiten. Erstens kann Null sein. sed verhält sich in diesem Fall so, als wäre es gleich step. (Dies ist eine Erweiterung.)

Perl kann das auch:

while (<>) {
    print  if $. % 3 == 1;
}

Dieses Programm gibt die erste Zeile seiner Eingabe und danach jede dritte Zeile aus.

Um es ein bisschen zu erklären, <>ist der Zeileneingabeoperator, der über die Eingabezeilen iteriert, wenn er in einer whileSchleife wie dieser verwendet wird. Die spezielle Variable $.enthält die Anzahl der bisher gelesenen Zeilen und %ist der Moduloperator.

Mit den Schaltern -nund kann dieser Code als Einzeiler noch kompakter geschrieben -ewerden:

perl -ne 'print if $. % 3 == 1'  < input.txt  > output.txt

Der -eSchalter benötigt einen Teil des Perl-Codes, um als Befehlszeilenparameter ausgeführt zu werden, während der -nSchalter den Code implizit in eine whileSchleife wie die oben gezeigte einschließt.

Bearbeiten: Um tatsächlich die Zeilen 1, 3, 6, 9, ... wie im Beispiel zu erhalten, anstelle der Zeilen 1, 4, 7, 10, ..., wie ich zuerst angenommen habe, dass Sie es wollten, ersetzen Sie sie $. % 3 == 1durch $. == 1 or $. % 3 == 0.

Wenn Sie es mit einem Bash- Skript machen möchten, können Sie versuchen:

#!/bin/sh

echo Please enter the file name
read fname
echo Please enter the Nth lines that you want to keep
read n

exec<$fname
value=0
while read line
do
    if [ $(( $value % $n )) -eq 0 ] ; then
        echo -e "$line" >> new_file.txt
    fi
        let value=value+1 
done
echo "Check the 'new_file.txt' that has been created in this directory";

Speichern Sie es als "read_lines.sh" und denken Sie daran, der Bash-Datei + x-Berechtigungen zu erteilen.

chmod +x ./read_lines.sh

Eine Lösung in Pure Bash, die keinen Prozess hervorbringt, ist:

{ for f in {1..2}; do read line; done;
  while read line; do
    echo $line;
    for f in {1..2}; do read line; done;
  done; } < file

Die erste Zeile überspringt 2 Zeilen am Anfang der Datei, und whiledie nächste Zeile wird gedruckt, und es werden 2 Zeilen erneut übersprungen.

Wenn Ihre Datei klein ist, ist dies eine sehr effiziente Methode, um den Job auszuführen, da kein Prozess gestartet wird. Wenn Ihre Datei groß ist, sedsollten Sie sie verwenden, da sie effizienter mit io umgeht als bash.

Eine Python-Version (sowohl Python 2 als auch Python 3):

python2 -c "print(''.join(open('file.txt').readlines()[::3]))"

Ersetzen Sie sie [::3]durch Start-, End- und Schrittgrößenparameter, um mehr Kontrolle zu haben. ZB [10:36:5]Zeilen 10, 15, ..., 35.

Da readlines()die Zeilenenden beibehalten werden, endet die Ausgabe dieses Aufrufs möglicherweise mit einer leeren letzten Zeile, es sei denn, die ursprüngliche letzte Zeile wird mit der ausgewählten Schrittgröße ausgegeben.

Auch eine Stream-Version ist möglich (hier erst nach beendetem Stream ausgeben):

python -c "import sys;print(''.join(list(sys.stdin)[::3]))" < file.txt