Neuindizierung einer großen CSV-Datei

Ich habe die Antworten in diesem hilfreichen Thread durchgesehen , aber mein Problem scheint so unterschiedlich zu sein, dass mir (zumindest mit sed) keine gute Antwort einfällt .

Ich habe eine große CSV-Datei (200+ GB) mit Zeilen, die wie folgt aussehen:

<alphanumerical_identifier>,<number>

wo <alphanumerical_identifier>ist über die gesamte Datei eindeutig. Ich möchte eine separate Datei erstellen, die die erste Spalte durch einen Index ersetzt , d. H.

<index>,<number>

damit wir bekommen:

1, <number>
2, <number>
3, <number>

Kann awkein zunehmender Index generiert werden, ohne die gesamte Datei in den Speicher zu laden?

Da der Index monoton ansteigt, ist es möglicherweise noch besser, den Index einfach fallen zu lassen. Wäre die Lösung dafür so anders?, Dh:

<number>
<number>
<number>

Nicht in der Nähe eines zu testenden Terminals, aber wie wäre es mit dem oft übersehenen nlBefehl? Etwas wie:

cut -f 2 -d , original.csv | nl -w 1 -p -s , > numbered.csv

Hier sind ein paar Ansätze, aber keiner wird die Geschwindigkeit der Annäherung cutund nlLösung oben:

1. awk

   awk -F, '{$1=NR;print $1","$2;}' file.csv > newfile.csv

2. Perl

   perl -pe 's/[^,]+/$./' file.csv > newfile.csv

   oder

   perl -F, -ane '$F[0]=$.; print join ",", @F' file.csv

3. Shell (aber ich empfehle es nicht für eine 200G-Datei, es wird ewig dauern)

   i=1; while IFS=, read foo num; do 
           printf "%d,%s\n" $((i++)) $num; 
   done < file.csv > newfile.csv

Die obigen Lösungen sind nach Geschwindigkeit sortiert. Ich habe auf meinem Laptop und einer 40M-Datei getestet und sie haben (durchschnittlich 10 Läufe) 2,2282 (awk), 2,4555 (1. Perl), 3,1825s (2. Perl) und satte 48,6035s für die Shell benötigt. Die sehr clevere cutund bereits vorhandene nlLösung war mit 0,6078 Sekunden etwa viermal schneller.